JP2008134991A - 入力方法 - Google Patents

Abstract

【課題】 被写体の撮像結果を利用して入力を与えることができる新規な入力方法及びその関連技術を提供することである。
【解決手段】 左右のそれぞれの手の平の側に装着した入力装置３Ｌ及び３Ｒがイメージセンサ５４により撮影され（入力状態）、撮影結果を処理して、入力装置３Ｌ及び３Ｒの動きに、カーソル７０Ｌ及び７０Ｒを連動させる。プレイヤは、点滅した定位置オブジェクト１００にカーソル７０Ｌ又は７０Ｒを移動させ、手を握り締める。手を握り締めた方の入力装置３Ｌ又は３Ｒは撮影されない（非入力状態）。このような操作をプレイヤが行うと、別の定位置オブジェクト１００が点滅するので、プレイヤは、同様の操作を行う。これらの処理が繰り返される。
【選択図】 図５

Description

本発明は、被写体の撮像結果を利用する入力方法及びその関連技術に関する。

本件出願人による特許文献１に開示されているゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含み、ゲーム機のハウジングの内部には撮像ユニットが収納され、この撮像ユニットは、イメージセンサ及び赤外発光ダイオード等から構成される。赤外発光ダイオードによって撮像ユニットの前方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる入力装置の速度などを計算する。このように、ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる。

特開２００４−８５５２４号公報

本発明の目的は、被写体の撮像結果を利用して入力を与えることができる新規な入力方法及びその関連技術を提供することである。

本発明の第１の形態によると、入力方法は、表示装置にターゲット画像を表示するステップと、前記表示装置にカーソルを表示するステップと、ユーザの手の平に装着された被写体を撮像するステップと、前記撮像によって得られた前記被写体の像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、前記カーソルを移動するステップと、前記カーソルが前記ターゲット画像に重なった直後に、前記被写体の像が得られなかった場合に、前記ターゲット画像及び／又は前記カーソルに所定の変化を与えるステップと、を含む。

この構成によれば、ユーザは、手の平を開いた状態でカーソルを移動し、ターゲット画像に重ね、そして、手を握り締めて、被写体を隠すことにより、ターゲット画像及び／又はカーソルに変化を与えることができる。つまり、ユーザは、カーソルをターゲット画像まで動かし、手を握り締めることによって、ターゲット画像及び／又はカーソルに変化を与えることができる。従って、ユーザは、あたかもターゲット画像を握るかのような操作によって入力を与えることができる。

上記入力方法において、前記ターゲット画像は、任意の位置又は複数の所定位置のうちのいずれかの位置に、非表示の状態から出現する。

上記入力方法において、前記ターゲット画像は、任意の位置又は所定位置に予め静止して表示されてもよい。

上記入力方法において、前記ターゲット画像は、複数であり、複数の任意の位置又は複数の所定位置に予め静止して表示されてもよい。

上記入力方法において、前記ターゲット画像は、移動する動画像であることもできる。

本発明の第２の形態によると、入力方法は、表示装置に第１オブジェクトを表示するステップと、複数の被写体を撮像するステップと、前記撮像によって得られた前記複数の被写体の像に基づいて、前記複数の被写体の位置を検出するステップと、前記検出された前記複数の被写体の位置関係に応じて、前記第１オブジェクトの形態を変化させるステップと、を含む。

この構成によれば、ユーザは、複数の被写体を動かすことによって、それらの位置関係に応じた形態に、第１オブジェクトを変化させることができる。

この入力方法は、前記表示装置に第２オブジェクトを表示するステップと、前記第１オブジェクトと前記第２オブジェクトとが所定の位置関係を満たした場合に、前記第２オブジェクトに変化を与えるステップと、をさらに含む。

この構成によれば、ユーザは、複数の被写体を動かすことによって、第１オブジェクトに変化を与え、応じて、第２オブジェクトに変化を与えることができる。

本発明の第３の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンに、静止した又は移動するターゲットを出現させるステップと、少なくとも前記ターゲットに前記カーソルが重なったことを条件として、当該ターゲットに所定の変化を与えるステップと、出現させる前記ステップと変化を与える前記ステップとを繰り返すステップと、を含み、前記ターゲットを出現させる位置は、その都度、新たに設定される。

この構成によれば、プレイヤは、被写体を動かすことにより、カーソルを操作できる。従って、プレイヤに対して、出現した静止ターゲットに、できるだけ早くカーソルを重ねるように指示することができる。プレイヤが、このような指示に基づく動作を繰り返すことにより、次々に現れる静止ターゲットに、いかに早く反応できるか、という能力（動体認識の一種）のトレーニングを行うことができる。

また、プレイヤに対して、できるだけ多くの動き回るターゲットに、できるだけ早くカーソルを移動させる動作を行わせることができる。その結果、俊敏性及び先を読む力のトレーニングを行うことができる。

ここで、静止したターゲットの出現とは、ターゲットを表すオブジェクトを出現させることを含む他、色彩及び形状等の形態の変化により出現を表すこと、並びに、それらの組み合わせが含まれる。また、所定の変化には、形態の変化及びターゲットの消滅等が含まれる。

この練磨方法は、前記被写体としての反射体に光を照射するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られたときに、前記被写体が検出されたとして第１の入力状態であると判定するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られなかったときに、前記被写体が検出されていないとして第２の入力状態であると判定するステップと、をさらに含み、前記所定の変化を与える前記ステップでは、前記第１の入力状態において前記ターゲットに前記カーソルが重なった状態から、前記第２の入力状態が判定された場合に、当該ターゲットに前記所定の変化を与える。

この構成によれば、プレイヤが、反射体を撮像させたら第１の入力状態と判定され、反射体を撮像されないようにしたら第２の入力状態と判定される。そして、プレイヤが、第１の入力状態でカーソルをターゲットに重ねただけでは、その選択は確定せず、第２の入力状態にしてはじめて選択が確定する。従って、プレイヤは、ターゲットに所定の変化を与えるためには、反射体を撮像される状態から撮像されない状態にしなければならい。これに伴って、プレイヤは、その様な状態の変化に応じた運動をすることになる。その結果、上記した能力のトレーニングだけでなく、プレイヤに対して、運動を行わせることができ、健康の維持・増進やリハビリテーションの支援を図ることができる。

本発明の第４の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンに、そのスクリーン上を動き回るオブジェクトを出現させるステップと、を含む。

この構成によれば、プレイヤは、被写体を動かすことにより、カーソルを操作できる。従って、プレイヤに対して、動き回るオブジェクトに、衝突しないようにカーソルを動かすように指示することができる。プレイヤが、このような指示に基づく動作を繰り返すことにより、いかに巧くオブジェクトを避けることができるか、という能力（動体予測の一種）のトレーニングを行うことができる。

この練磨方法は、所定条件に従って、前記スクリーンに、そのスクリーン上を動き回る新たなオブジェクトを出現させるステップをさらに含む。この構成によれば、次々にオブジェクトを出現させることができるので、難易度の向上を図ることができる。

この練磨方法において、前記オブジェクトの出現位置は、その都度、新たに設定される。この構成によれば、オブジェクトの出現位置が一定していないので、より一層難易度の向上を図ることができる。

上記練磨方法は、前記カーソルが前記オブジェクトに衝突したか否かを判定するステップをさらに含む。この構成によれば、カーソルがオブジェクトに衝突したことが分かるので、カーソルがオブジェクトに衝突したときに、映像及び／又は音声により、その旨をプレイヤに通知できる。

本発明の第５の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、順番が割り当てられた複数のターゲットを前記スクリーンに表示するステップと、前記順番に従って少なくとも前記ターゲットに前記カーソルが重なったことを条件として、当該ターゲットに所定の変化を与えるステップと、を含む。

この構成によれば、プレイヤは、被写体を動かすことにより、カーソルを操作できる。従って、プレイヤに対して、順番に従って、表示されたターゲットに、できるだけ早くカーソルを重ねるように指示することができる。プレイヤが、このような指示に基づく動作を繰り返すことにより、いかに早く、しかも、順番どおりに、ターゲットを認識することができるか、という能力（瞬間認識の一種）のトレーニングを行うことができる。

ここで、所定の変化には、形態の変化及びターゲットの消滅等が含まれる。

この練磨方法において、前記ターゲットには、数字が付されており、前記複数のターゲットに付された複数の前記数字は、連続した整数である。この構成によれば、プレイヤに対して、付された数字の順番に従って、ターゲットに、できるだけ早くカーソルを重ねるように指示することができる。一方、上記練磨方法において、前記ターゲットに数字を付し、前記複数のターゲットに付された複数の前記数字を、不連続かつ異なった整数とすることもできる。この構成によれば、ターゲットに付された数字は、不連続かつ異なった整数であるため、難易度の向上を図ることができる。

上記練磨方法は、前記被写体としての反射体に光を照射するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られたときに、前記被写体が検出されたとして第１の入力状態であると判定するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られなかったときに、前記被写体が検出されていないとして第２の入力状態であると判定するステップと、をさらに含み、前記所定の変化を与える前記ステップでは、前記第１の入力状態において前記順番に従って前記ターゲットに前記カーソルが重なった状態から、前記第２の入力状態が判定された場合に、当該ターゲットに前記所定の変化を与える。

この構成によれば、プレイヤが、反射体を撮像させたら第１の入力状態と判定され、反射体を撮像されないようにしたら第２の入力状態と判定される。そして、プレイヤが、第１の入力状態でカーソルをターゲットに重ねただけでは、その選択は確定せず、第２の入力状態にしてはじめて選択が確定する。従って、プレイヤは、ターゲットに所定の変化を与えるためには、反射体を撮像される状態から撮像されない状態にしなければならい。これに伴って、プレイヤは、その様な状態の変化に応じた運動をすることになる。その結果、上記した能力のトレーニングだけでなく、プレイヤに対して、運動を行わせることができ、健康の維持・増進やリハビリテーションの支援を図ることができる。

本発明の第６の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンの予め定められた複数の位置に、静止した複数の定位置オブジェクトを表示するステップと、前記定位置オブジェクトが表示された位置に、所定時間だけ、マーカを表示するステップと、前記マーカを表示する前記ステップを繰り返すステップと、を含み、繰り返す前記ステップでは、前記マーカを表示する位置は、前記複数の定位置オブジェクトの中から、その都度、新たに選択される。

この構成によれば、プレイヤは、被写体を動かすことにより、カーソルを操作できる。従って、プレイヤに対して、所定の時期に表示されたマーカの位置を、カーソルで特定することを指示することができる。プレイヤに対して、このような特定する動作を、マーカを表示するステップを繰り返すステップの終了後に行わせることで、プレイヤの短期的な記憶力（短期記憶の一種）のトレーニングを図ることができる。

この練磨方法において、繰り返す前記ステップでは、各々前記所定時間だけ順次表示される複数の前記マーカは、それぞれ複数形態のうちのいずれかに属する。この構成によれば、プレイヤに対して、特定するマーカの形態をも指示できるので、難易度の向上を図ることができる。一方、上記練磨方法において、表示する前記ステップにて、所定数かつ複数の前記マーカを、前記所定時間だけ、異なる前記定位置オブジェクトの位置に同時に表示することもできる。この構成によれば、プレイヤに対して、複数のマーカを特定することを指示できるので、難易度の向上を図ることができる。さらに、この練磨方法において、表示する前記ステップにて、異なる前記定位置オブジェクトの位置に同時に表示される前記所定数かつ前記複数のマーカを、それぞれ複数形態のうちのいずれかに属するようにすることもできる。この構成によれば、プレイヤに対して、特定する複数のマーカの形態をも指示できるので、より一層難易度の向上を図ることができる。

上記練磨方法は、所定の時期に表示された前記マーカの位置を特定することを指示する映像及び／又は音声を出力するステップと、特定することを指示された前記マーカが位置した前記定位置オブジェクトに、前記カーソルが重なっているか否かを判定する第１判定ステップと、をさらに含む。

この構成によれば、カーソルが正しい位置に置かれたか否かが分かるので、映像及び／又は音声により、その正否をプレイヤに通知できる。

この練磨方法は、前記被写体としての反射体に光を照射するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られたときに、前記被写体が検出されたとして第１の入力状態であると決定するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られなかったときに、前記被写体が検出されていないとして第２の入力状態であると決定するステップと、特定することを指示された前記マーカが位置した前記定位置オブジェクトに、前記第１の入力状態において前記カーソルが重なった状態から、前記第２の入力状態になったか否かを判定する第２判定ステップと、をさらに含む。

この構成によれば、プレイヤが、反射体を撮像させたら第１の入力状態と判定され、反射体を撮像されないようにしたら第２の入力状態と判定される。そして、第１の入力状態を選択状態、第２の入力状態を選択確定状態とすることができる。従って、プレイヤが、第１の入力状態でカーソルを定位置オブジェクトに重ねただけでは、その選択は確定せず、第２の入力状態にしてはじめて選択が確定する。このため、プレイヤは、選択を確定するためには、反射体を撮像される状態から撮像されない状態にしなければならい。これに伴って、プレイヤは、その様な状態の変化に応じた運動をすることになる。その結果、上記した能力のトレーニングだけでなく、プレイヤに対して、運動を行わせることができ、健康の維持・増進やリハビリテーションの支援を図ることができる。

さらに、この練磨方法は、前記第２判定ステップで前記第２の入力状態になったと判定された場合に、当該カーソルが、どの前記定位置オブジェクトに重なっているかを記憶するステップと、前記定位置オブジェクトが表示されている領域以外の領域であって、前記スクリーンの所定位置に所定オブジェクトを表示するステップと、前記第１の入力状態において前記カーソルが前記所定オブジェクトに重なった状態から、前記第２の入力状態になったか否かを判定する第３判定ステップと、前記第３判定ステップで前記第２の入力状態になったと判定された場合に、記憶する前記ステップで記憶した情報を参照して、その情報が、出力する前記ステップによる指示に合致しているか否かを判定する第４判定ステップと、をさらに含む。

この構成によれば、カーソルが定位置オブジェクト以外の領域に位置する所定オブジェクトに重ねられて、第１の入力状態から第２の入力状態になったときに、指示に合致しているか否かの判定が行われるので、プレイヤが意図していない選択状態に基づいて、指示に合致しているか否かの判定が行われることを極力防止できる。

上記第３の形態から第６の形態における練磨方法において、前記カーソルは、透明色又は半透明色を含む。この構成によれば、プレイヤは、カーソルの奥に表示されたものをも視認でき、視認性の向上を図ることができる。

上記第３の形態、第５の形態、及び第６の形態における練磨方法において、撮像する前記ステップでは、各々プレイヤの左右の手に装着された２個の前記反射体が撮像され、移動させる前記ステップでは、一方の前記反射体の動きに応じて、２個の前記カーソルのうちの一方の前記カーソルを移動させ、他方の前記反射体の動きに応じて、他方の前記カーソルを移動させる。この構成によれば、プレイヤは、両手を使うことになるので、両手をバランス良く動かす運動を行うことができる。

上記第３の形態、第５の形態、及び第６の形態における練磨方法において、撮像する前記ステップでは、プレイヤの手に装着された前記反射体が撮像される。この構成によれば、プレイヤは、手の運動を行うことができる。また、これらの練磨方法において、撮像する前記ステップでは、プレイヤの手の平の側に装着された前記反射体が撮像される。この構成によれば、プレイヤは、手を開いて反射体を撮像させ第１の入力状態とし、手を握り締めて反射体を隠して第２の入力状態とすることができる。この場合、手を開くこと（じゃんけんの「ぱあ」）と握り締めること（じゃんけんの「ぐう」）を繰り返すことになる。また、必然的に、ある程度又は完全に、腕を前方に伸ばして、そのような動作を行うことになる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。一方、これらの練磨方法において、撮像する前記ステップでは、プレイヤの手の甲の側に装着された前記反射体が撮像されることもできる。この構成によれば、プレイヤは、手の甲の側を撮像装置に向けて反射体を撮像させ第１の入力状態とし、手の平の側を撮像装置に向けて反射体を隠して第２の入力状態とすることができる。この場合、肘を支点、腕を軸にして手を回転させることになる。また、必然的に、ある程度又は完全に、腕を前方に伸ばして、そのような動作を行うことになる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。また、プレイヤは、手を握り締めた状態でこぶしを撮像装置に向けて反射体を撮像させ第１の入力状態とし、こぶしを撮像装置から隠して（例えば左右の手の指背部を合わせて）非入力状態とすることができる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。

本発明の第７の形態によると、練磨方法は、プレイヤの手に装着された被写体としての反射体に光を照射するステップと、前記反射体を撮像するステップと、前記撮像によって得られた前記反射体の画像に基づいて、前記反射体の動きを検出するステップと、前記検出された前記反射体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られたときに、前記被写体が検出されたとして第１の入力状態であると判定するステップと、前記反射体に照射され、前記反射体が反射した前記光に基づく像が、撮像する前記ステップで得られなかったときに、前記被写体が検出されていないとして第２の入力状態であると判定するステップと、コンピュータプログラムに従って、前記カーソルと共に、前記スクリーンに映像を表示するステップと、を含む。

この構成によれば、プレイヤが、反射体を撮像させたら第１の入力状態と判定され、反射体を撮像されないようにしたら第２の入力状態と判定される。従って、プレイヤに対して、第１の入力状態と第２の入力状態とを繰り返し行わせるような映像をコンピュータプログラムによって表示することにより、プレイヤは、反射体が撮像される状態と撮像されない状態とを繰り返しつくり出さなければならない。これに伴って、プレイヤは、その様な状態の変化に応じた運動をすることになる。その結果、プレイヤに対して、運動を行わせることができ、健康の維持・増進やリハビリテーションの支援を図ることができる。

この練磨方法において、表示する前記ステップでは、前記映像は、人間の所定の能力に関連したものである。

この構成によれば、スクリーンに表示される映像が、人間の所定の能力に関連しているので、プレイヤに対して、この映像に関連して、反射体が撮像される状態と撮像されない状態とを繰り返し行わせることにより、人間の所定の能力のトレーニングを行うことができる。

ここで、所定の能力とは、動体認識能力、動体予測能力、瞬間認識能力、及び短期記憶能力など、目等の感覚器官→感覚神経→脳→運動神経→手等の身体の部位という一連の伝達機能及び記憶機能を含む。

本発明の第８の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、音声及び／又は映像により言語情報をプレイヤに提示するステップと、音声及び／又は映像により前記言語情報に対応する第１の感覚情報と前記言語情報と相反する第２の感覚情報とを前記プレイヤに提示するステップと、を含む。

この構成によれば、ストループ効果を利用して、プレイヤに対して、行動選択及び妨害排除といった機能の練磨を行わせることができる。ここで、ストループ効果（ｓｔｒｏｏｐ ｅｆｆｅｃｔ）とは、人間の情報処理過程において、感覚情報（例えば色）と言語情報（例えば文字）とが干渉しあう現象のことである。

本発明の第９の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動するステップと、前記スクリーンに表示された所定のオブジェクトを、所定の規則に従って、前記カーソルに向かって移動させるステップと、前記スクリーンにターゲットを表示するステップと、前記ターゲットを含む所定領域に前記所定のオブジェクトが重なったか否かを判定するステップと、前記スクリーンに前記所定のオブジェクトが回避すべき移動する回避オブジェクトを表示するステップと、前記所定のオブジェクトが前記回避オブジェクトに接触したか否かを判定するステップと、を含む。

この構成によれば、回避オブジェクトに所定のオブジェクトが接触したときに、減点等の不利益をプレイヤに与えることにすれば、プレイヤに対して、回避オブジェクトに所定のオブジェクトが接触しないように、カーソルを操作して、所定のオブジェクトをターゲットに導く動作を行わせることができる。その結果、プレイヤは、回避オブジェクトの動きを予想しながら、カーソルを操作しなければならず、先を読む力の鍛錬を行うことができる。

本発明の第１０の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示された応答オブジェクトの動きを制御するステップと、複数種類の移動オブジェクトを前記スクリーン上に出現させ移動させるステップと、前記移動オブジェクトと前記応答オブジェクトとの位置関係が所定の条件を満たしたときに、前記移動オブジェクトの移動方向を変化させるステップと、を含み、前記複数種類の前記移動オブジェクトの各々は、異なる内容の情報をプレイヤに提示するものであり、前記練磨方法は、前記複数種類に対応する複数種類のオブジェクトを前記スクリーンに表示するステップをさらに含む。

この構成によれば、プレイヤに対して、応答オブジェクトを操作して、移動オブジェクトが提示する情報と同じ種類のオブジェクトに当該移動オブジェクトを打ち返す動作を行わせることができる。その結果、プレイヤは、移動してくる移動オブジェクトが提示する情報の内容を瞬時に判断して、応答オブジェクトの操作により、複数種類のオブジェクトのうちの適切なオブジェクトに移動オブジェクトを打ち返す必要がある。このため、プレイヤの瞬間的な判断力を鍛えることができる。ここで、移動オブジェクトが提示する情報は、色等の感覚情報及び文字等の言語情報を含む。

本発明の第１１の形態によると、練磨方法は、複数の被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、各々対応する前記検出された前記被写体の動きに応答する複数の応答オブジェクトを表示するステップと、各々対応する到達点に向かう複数の経路を同時に表示するステップと、前記経路上を前記到達点に向かって移動する移動オブジェクトを表示するステップと、所定規則に従って、同時に表示する前記複数の経路を異ならせるステップと、を含み、前記応答オブジェクトは、対応する前記到達点に配置される。

この構成によれば、プレイヤに対して、移動オブジェクトが応答オブジェクトに到達するタイミングで、応答オブジェクトに変化を与える動作を行わせることができる。その結果、プレイヤは、次々に移動してくる移動オブジェクトに合わせて適切なタイミングで応答オブジェクトを変化させる必要があるので、判断力及び先を読む力を鍛えることができる。また、移動オブジェクトを音楽に合わせて出現及び移動させることにすれば、リズム感を鍛えることもできる。

本発明の第１２の形態によると、練磨方法は、被写体を撮像するステップと、前記撮像によって得られた前記被写体の画像に基づいて、前記被写体の動きを検出するステップと、前記検出された前記被写体の動きに応じて、表示装置のスクリーンに表示されたカーソルを移動するステップと、各々異なる情報を示すＮ個（Ｎは２以上の自然数）のオブジェクトを前記スクリーンに表示するステップと、前記Ｎ個のオブジェクトが示す前記情報を視認できないようにするステップと、視認できないようにする前記ステップの後、前記Ｎ個のオブジェクトのうち、所定数の前記オブジェクトの位置を入れ替えるステップと、位置を入れ替える前記ステップの後、前記Ｎ個のオブジェクトのうち、いずれか１つの前記オブジェクトが示す前記情報を明示するステップと、明示する前記ステップで明示された前記情報を示す前記オブジェクトが、前記カーソルにより選択されたか否かを判断するステップと、を含む。

この構成によれば、プレイヤに対して、Ｎ個のオブジェクトが示す情報を記憶させ、さらに、オブジェクトのシャッフル後において、明示した情報を示すオブジェクトをカーソルにより選択させることができる。その結果、プレイヤは、Ｎ個のオブジェクトの配置とそれらが示す情報を記憶し、かつ、オブジェクトの入れ替えを目で追って記憶して行かなければならない。このため、プレイヤの記憶力を鍛えることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。

図１は、本発明の実施の形態による練磨システムの全体構成を示すブロック図である。図１に示すように、この練磨システムは、情報処理装置１、入力装置３Ｌ及び３Ｒ、並びにテレビジョンモニタ５を備える。ここで、入力装置３Ｌ及び３Ｒを区別する必要がないときは、入力装置３と表記する。

図２は、図１の入力装置３の斜視図である。図２に示すように、入力装置３は、透明体１７の底面側にベルト１９を通して、そのベルト１９を透明体１７の内部で固定してなる。透明体１７の内面全体にわたって（底面側を除く）、再帰反射シート１５が取り付けられる。入力装置３の使用方法は後述する。

ここで、入力装置３Ｌ及び３Ｒを区別する必要があるときは、入力装置３Ｌの透明体１７および再帰反射シート１５を、それぞれ、透明体１７Ｌおよび再帰反射シート１５Ｌと表記し、入力装置３Ｒの透明体１７および再帰反射シート１５を、それぞれ、透明体１７Ｒおよび再帰反射シート１５Ｒと表記する。

図１に戻って、情報処理装置１は、ＡＶケーブル７により、テレビジョンモニタ５に接続される。さらに、情報処理装置１には、図示していないが、ＡＣアダプタあるいは電池により電源電圧が供給される。情報処理装置１の背面には、電源スイッチ（図示せず）が設けられる。

情報処理装置１は、その前面側に、赤外光のみを透過する赤外線フィルタ２０が設けられ、さらに、赤外線フィルタ２０を囲むように、赤外光を発生する４つの赤外発光ダイオード９が露出している。赤外線フィルタ２０の背面側には、後述のイメージセンサ５４が配置される。

４つの赤外発光ダイオード９は、間欠的に赤外光を発光する。そして、赤外発光ダイオード９からの赤外光は、入力装置３に取り付けられた再帰反射シート１５により反射され、赤外線フィルタ２０の背面側に設けられたイメージセンサ５４に入力される。このようにして、イメージセンサ５４により、入力装置３が撮影される。

赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ５４による撮影処理は行われている。情報処理装置１は、プレイヤにより動かされた入力装置３の、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号ＤＩ（差分画像ＤＩ）を基に、入力装置３（つまり再帰反射シート１５）の位置等を算出する。

このように、差分を求めることで、再帰反射シート１５からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１５を検出できる。

図３は、図１の入力装置３Ｌ及び３Ｒの使用状態の一例を示す説明図である。図１及び図３に示すように、プレイヤは、中指を図２のベルト１９に通して、入力装置３を装着する。この場合、透明体１７及び再帰反射シート１５が、手の平の側にくるようにする。図１のように、プレイヤが、情報処理装置１に向けて、つまり、イメージセンサ５４に向けて、手を開くと、透明体１７、つまり、再帰反射シート１５が現れ、この再帰反射シート１５が撮影される。一方、透明体１７を握り締めると、透明体１７、つまり、再帰反射シート１５は、手の中に隠れてしまい、イメージセンサ５４に撮影されない。従って、プレイヤは、手を開いたり閉じたりする動作によって、再帰反射シート１５を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力の制御を行うことができる。本実施の形態では、再帰反射シート１５が撮影された場合を入力状態（第１の入力状態と呼ぶこともある。）、撮影されない状態を非入力状態（第２の入力状態と呼ぶこともある。）とする。

図４は、図１の情報処理装置１の電気的構成を示す図である。図４に示すように、情報処理装置１は、マルチメディアプロセッサ５０、イメージセンサ５４、赤外発光ダイオード９、外部メモリ５２、及びバス５６を含む。外部メモリ５２は、ＲＯＭ、ＲＡＭ、及び／又はフラッシュメモリなど、システムの仕様に応じて必要なものを備える。

マルチメディアプロセッサ５０は、バス５６を通じて、外部メモリ５２にアクセスできる。従って、マルチメディアプロセッサ５０は、外部メモリ５２に格納されたプログラムを実行でき、また、外部メモリ５２に格納されたデータをリードして処理することができる。この外部メモリ５２に、後述の各種画面の制御、再帰反射シート１５Ｌ及び１５Ｒの位置検出、並びに入力状態及び非入力状態の判定等の各処理を行うプログラム、画像データ、及び音声データ等が予め格納される。

このマルチメディアプロセッサは、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。

ＣＰＵは、外部メモリ５２に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、外部メモリ５２に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。ここで、１または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。

ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。ＳＰＵは、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。

外部インタフェースブロックは、周辺装置（本実施の形態ではイメージセンサ５４及び赤外発光ダイオード９）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではイメージセンサ５４）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。

入力装置３Ｌ及び３Ｒは、赤外発光ダイオード９の赤外光に照射され、その赤外光を再帰反射シート１５Ｌ及び１５Ｒで反射する。この再帰反射シート１５Ｌ及び１５Ｒからの反射光がイメージセンサ５４によって撮影され、したがって、イメージセンサ５４からは再帰反射シート１５Ｌ及び１５Ｒを含む画像信号が出力される。上記のように、マルチメディアプロセッサ５０は、ストロボ撮影のために、赤外発光ダイオード９を間欠的に点滅するので、赤外光消灯時の画像信号も出力される。イメージセンサ５４からのこれらのアナログ画像信号はマルチメディアプロセッサ５０に内蔵されたＡＤＣによってデジタルデータに変換される。

マルチメディアプロセッサ５０は、イメージセンサ５４からＡＤＣを介して入力されるデジタル画像信号から上記の差分信号ＤＩ（差分画像ＤＩ）を生成して、これに基づき、入力装置３Ｌ及び３Ｒによる入力／非入力の判定、さらに入力装置３Ｌ及び３Ｒの位置等を検出して、演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号およびオーディオ信号は、ＡＶケーブル７によりテレビジョンモニタ５に与えられ、応じて、テレビジョンモニタ５に映像が表示され、そのスピーカ（図示せず）から音声が出力される。

後述するが、マルチメディアプロセッサ５０は、検出した入力装置３Ｌ及び３Ｒの位置に応じて、カーソル７０Ｌ及び７０Ｒの移動を制御する。つまり、マルチメディアプロセッサ５０は、差分画像ＤＩから再帰反射シート１５Ｌ及び１５Ｒの像を抽出して、それぞれの注目点の差分画像ＤＩ上の座標を算出する。そして、マルチメディアプロセッサ５０は、２つの注目点の差分画像ＤＩ上の座標を、スクリーン座標に変換することによって、２つの注目点のテレビジョンモニタ５の画面上の位置を求める。マルチメディアプロセッサ５０は、この２つの注目点（再帰反射シート１５Ｌ及び１５Ｒに相当）の画面上の位置に、カーソル７０Ｌ及び７０Ｒを表示する。なお、スクリーン座標系は、テレビジョンモニタ５に映像を表示する際に用いられる座標系である。

次に、本実施の形態の練磨システムにより実行される各種モードでの画面を例示して、マルチメディアプロセッサ５０による処理内容を説明する。

［フラッシュキャッチモード］

図５は、図１の練磨システムによるフラッシュキャッチモードでの練磨画面の例示図である。図５（ａ）を参照して、マルチメディアプロセッサ５０は、格子状（４行×５列）に配置された２０個の定位置オブジェクト１００を含む画面をテレビジョンモニタ５に表示する。

また、マルチメディアプロセッサ５０は、カーソル７０Ｌ及び７０Ｒをテレビジョンモニタ５に表示する。マルチメディアプロセッサ５０は、イメージセンサ５４により撮影された再帰反射シート１５Ｌの動きにカーソル７０Ｌを連動させ、イメージセンサ５４により撮影された再帰反射シート１５Ｒの動きにカーソル７０Ｒを連動させる。カーソル７０Ｌ及び７０Ｒの色は、半透明色であるので、カーソル７０Ｌ及び７０Ｒが、定位置オブジェクト１００に重なっても、プレイヤは、定位置オブジェクト１００を確認できる。もちろん、カーソル７０Ｌ及び７０Ｒの色を透明色にすることもできる。このように、カーソル７０Ｌ及び７０Ｒを半透明又は透明にすることで、プレイヤの視認性の向上を図ることができる。

プレイヤが左手を開き再帰反射シート１５Ｌが検出された状態、つまり、左手の入力状態では、開いた状態の左手を模した形態のカーソル７０Ｌが表示される。同様に、プレイヤが右手を開き再帰反射シート１５Ｒが検出された状態、つまり、右手の入力状態では、開いた状態の右手を模した形態のカーソル７０Ｒが表示される。また、図５（ｂ）に示すように、プレイヤが左手を閉じて再帰反射シート１５Ｌが検出されない状態、つまり、左手の非入力状態では、閉じた状態の左手を模した形態のカーソル７０Ｌが表示される。図示はしていないが、プレイヤが右手を閉じて再帰反射シート１５Ｒが検出されない状態、つまり、右手の非入力状態では、閉じた状態の右手を模した形態のカーソル７０Ｒが表示される。このように、プレイヤは、カーソル７０Ｌ及び７０Ｒの形態により、入力／非入力を認識できる。

プレイする際には、マルチメディアプロセッサ５０は、２０個の定位置オブジェクト１００から、１つの定位置オブジェクト１００をランダムに選択し、選択した定位置オブジェクト１００を点滅させる。図では、点滅をハッチングで表しており、図５（ａ）では、３行２列の定位置オブジェクト１００が点滅しており、図５（ｂ）では、１行５列の定位置オブジェクト１００が点滅している。点滅している定位置オブジェクト１００をターゲットと呼ぶこともある。

プレイヤは、入力状態において、点滅している定位置オブジェクト１００に、カーソル７０Ｌ又は７０Ｒを移動させる。そして、プレイヤは、点滅している定位置オブジェクト１００に、カーソル７０Ｌ又は７０Ｒを重ねて、非入力状態にする。すると、マルチメディアプロセッサ５０は、新たに定位置オブジェクト１００を選択して、点滅させる。マルチメディアプロセッサ５０は、プレイヤの入力／非入力を検出して、所定時間、このような処理を繰り返す。なお、プレイヤが、点滅していない定位置オブジェクト１００にカーソル７０Ｌ又は７０Ｒを移動させ非入力状態にしても、マルチメディアプロセッサ５０は、その時点滅している定位置オブジェクト１００を維持し、新たな定位置オブジェクト１００の点滅は行わない。

プレイヤが、点滅している定位置オブジェクト１００に入力状態においてカーソル７０Ｌ又は７０Ｒを移動させ非入力状態にすることを、ターゲットを握ると呼ぶこともある。プレイヤは、ターゲットに素早く反応して、所定時間内に、できるだけ多くのターゲットを握ることを試みる。

ここで、カーソル７０Ｌを移動させるためには、プレイヤは、左手を開き、入力状態にしなければならない。なぜなら、再帰反射シート１５Ｌが検出できなければ、その位置を特定できないからである。従って、プレイヤが、入力状態から非入力状態にしたときは、入力状態での最後のカーソル７０Ｌの位置に、非入力状態のカーソル７０Ｌが静止して表示される。カーソル７０Ｒについても同様である。

以上のように、このモードでは、プレイヤは、できるだけ早く点滅を察知し、できるだけ早くターゲットを握ることを試みる。従って、プレイヤは、このモードによって、次々に現れるターゲットに、いかに早く反応できるか、という能力（動体認識の一種）のトレーニングを行うことができる。

［ボールエスケープモード］

図６は、図１の練磨システムによるボールエスケープモードでの練磨画面の例示図である。図６（ａ）を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５のスクリーン上を動き回るオブジェクト１０２を表示する。このオブジェクト１０２は、最初１個出現し、所定時間経過後に、さらに１個追加される。このように、所定時間の経過によって、次々に、新たなオブジェクト１０２が追加される。図６（ｂ）に示すように、マルチメディアプロセッサ５０は、新たに追加するオブジェクト１０２を、出射口オブジェクト１０４から、矢印オブジェクト１０６が示す方向に出射する。出射口オブジェクト１０４の位置及び矢印オブジェクト１０６の向きは、ランダムに選択され、スクリーンの任意の位置に任意の方向で表示される。つまり、これらは、定位置及び定方向ではない。マルチメディアプロセッサ５０は、このような、オブジェクト１０２の運動と出現のための処理を所定時間行う。

カーソル７０Ｌ及び７０Ｒについては、フラッシュキャッチモードと同様である。ただし、ボールエスケープモードでは、プレイヤは、常に、入力状態でカーソル７０Ｌ及び７０Ｒを操作する。プレイヤは、カーソル７０Ｌ及び７０Ｒを操作して、オブジェクト１０２との衝突を回避することを試みる。時間が経つにつれ、オブジェクト１０２の数が増えるので、回避が困難になる。マルチメディアプロセッサ５０は、カーソル７０Ｌ又は７０Ｒが、オブジェクト１０２と衝突したときには、当該オブジェクト１０２にエフェクトを与えると共に、効果音を出力する。マルチメディアプロセッサ５０は、衝突の回数をカウントし、所定時間経過後に、その結果を表示する。

以上のように、このモードでは、プレイヤは、動き回るオブジェクト１０２に衝突しないようにカーソル７０Ｌ及び７０Ｒを操作する。従って、このモードによって、いかに巧くオブジェクト１０２を避けることができるか、という能力（動体予測の一種）のトレーニングを行うことができる。また、次々にオブジェクト１０２が出現するので、その数に応じて徐々に難易度を上げることができる。さらに、出射口オブジェクト１０４の位置及び矢印オブジェクト１０６の向きはランダムであり、オブジェクト１０２の出現位置が一定していないので、より一層難易度の向上を図ることができる。

［第１のナンバーキャッチモード］

図７は、図１の練磨システムによる第１のナンバーキャッチモードでの練磨画面の例示図である。図７（ａ）を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、１〜２０の連続した数字（整数）を付した２０個の静止したターゲット１１０を表示する。カーソル７０Ｌ及び７０Ｒについては、フラッシュキャッチモードと同様である。

プレイヤは、入力状態でカーソル７０Ｌ及び７０Ｒを操作して、ターゲット１１０に重ね、非入力状態にする。本明細書では、このような動作を、ターゲット１１０を握ると呼ぶこともある。プレイヤは、値が小さい数字が付されたターゲット１１０から順番に、できるだけ早く、ターゲット１１０を握ることを試みる。図７（ｂ）に示すように、小さい数字から順番に正しくターゲット１１０が握られた場合は、当該ターゲット１１０を消滅させる。もし、正しい順番で、ターゲット１１０が握られなかった場合は、プレイヤの失敗として、その回数をカウントする。

マルチメディアプロセッサ５０は、２０個のターゲット１１０を表示し、プレイ開始をプレイヤに通知した時点から、時間のカウントを開始する。そして、プレイヤが、２０の数字が付されたターゲット１１０を握った時に、時間のカウントを停止し、その結果を表示する。従って、プレイヤは、全てのターゲット１１０を握るのに要した時間を把握できる。また、マルチメディアプロセッサ５０は、時間のカウント結果と共に、失敗の回数も表示する。

図７（ｃ）を参照して、マルチメディアプロセッサ５０は、図７（ａ）の画面に代えて、テレビジョンモニタ５に、不連続かつ異なる数字（整数）を付した１０個のターゲット１１０を表示することもできる。この場合も、図７（ａ）の場合と同様、プレイヤは、値が小さい数字が付されたターゲット１１０から順番に、できるだけ早く、ターゲット１１０を握ることを試みる。小さい数字から順番に正しくターゲット１１０が握られた場合は、当該ターゲット１１０を消滅させる。もし、正しい順番で、ターゲット１１０が握られなかった場合は、プレイヤの失敗として、その回数をカウントする。その他、時間のカウント等は、図７（ａ）の場合と同様である。ターゲット１１０に付された数字が不連続であるため、図７（ｃ）のケースは、図７（ａ）のケースに比べて難易度が高い。

以上のように、このモードでは、プレイヤは、数字が小さいものから順番に、できるだけ早く、ターゲット１１０を握るように試みる。従って、このモードにより、いかに早く、しかも、順番どおりに、ターゲット１１０を認識することができるか、という能力（瞬間認識の一種）のトレーニングを行うことができる。

［短期記憶モード］

図８は、図１の練磨システムによる短期記憶モードでの練磨画面の例示図である。図８（ａ）を参照して、マルチメディアプロセッサ５０は、格子状（４行×４列）に配置された１６個の定位置オブジェクト１２０を含む画面をテレビジョンモニタ５に表示する。カーソル７０Ｌ及び７０Ｒについては、フラッシュキャッチモードと同様である。

まず、マルチメディアプロセッサ５０は、同時に、かつ、所定時間（例えば１秒）、任意の２個の定位置オブジェクト１２０を第１の色彩（例えば赤、右上がりの斜線部）にし、任意の２個の定位置オブジェクト１２０を第２の色彩（例えば青、右下がりの斜線部）にし、任意の２個の定位置オブジェクト１２０を第３の色彩（例えば黄、クロスした斜線部）にする（出題）。第１〜第３の色彩をマーカと呼ぶこともある。なお、定位置オブジェクト１２０の標準色は、白色とする。

そして、所定時間経過後に、マルチメディアプロセッサ５０は、第１の色彩を付する新たに選択した２個の定位置オブジェクト１２０、第２の色彩を付する新たに選択した２個の定位置オブジェクト１２０、及び第３の色彩を付する新たに選択した２個の定位置オブジェクト１２０に対して、同時に、かつ、所定時間、第１〜第３の色彩を付する（出題）。

マルチメディアプロセッサ５０は、上記のような出題を所定回数繰り返す。そして、全出題の完了後、図８（ｂ）に示すように、マルチメディアプロセッサ５０は、指示部１２２を表示する。指示部１２２は、指示部１２２に表示された色のマーカが最後に位置した（つまり、最後に出題された、指示部１２２に表示された色のマーカが位置した）定位置オブジェクト１２０の位置を示すことをプレイヤに指示するものである。また、指示部１２２に表示されたマーカの隣の数字は、１回の出題で付される、その色のマーカの数Ｎを示す。図８（ｂ）の例では、指示部１２２は、第３の色彩（クロスした斜線部）の２個（Ｎ＝２）のマーカが最後に位置した定位置オブジェクト１２０の位置を示すことをプレイヤに対して指示している。

プレイヤは、指示部１２２が指示したマーカが最後に位置した定位置オブジェクト１２０に、入力状態でカーソル７０Ｌ又は７０Ｒを移動させ、非入力状態にする（選択）。すると、マルチメディアプロセッサ５０は、カーソル７０Ｌ又は７０Ｒが重なった定位置オブジェクト１２０の色彩を所定色（例えば黒）に変化させる。プレイヤは、指示部１２２が指示する数（図の例では２）の定位置オブジェクト１２０の選択を終えると、画面の右上に表示された決定ボタン１２４上に、入力状態でカーソル７０Ｌ又は７０Ｒを移動させ、非入力状態にする（選択確定）。すると、マルチメディアプロセッサ５０は、プレイヤが選択した定位置オブジェクト１２０の位置と、マルチメディアプロセッサ５０が最後に出題した指示部１２２が指示する色のマーカの位置と、が完全に一致するか否かを判断する。「完全」とは、指示部１２２が指示する数がＮのときは、プレイヤが選択したＮ個の定位置オブジェクト１２０の位置が、マルチメディアプロセッサ５０が最後に出題した指示部１２２が指示する色のＮ個のマーカの位置と完全に一致することを意味する。

もし、完全に一致しなかったときは、マルチメディアプロセッサ５０は、失敗と判断し、処理を終了する。一方、完全に一致したときは、マルチメディアプロセッサ５０は、成功と判断し、次のステージに移行する。各ステージでは、所定回数の出題とその終了後の指示が行われる。本実施の形態では、ステージをクリアする度に、出題が難しくなり、難易度が高くなる。

なお、プレイヤは、カーソル７０Ｌ又は７０Ｒを決定ボタン１２４に移動させ非入力状態にするまでは（選択の確定までは）、選択のやり直しをすることができる。この場合、プレイヤは、選択されている定位置オブジェクト１２０にカーソル７０Ｌ又は７０Ｒを重ねて非入力状態にすると、その定位置オブジェクト１２０の選択が解除される。

また、入力状態でカーソル７０Ｌ又は７０Ｒを定位置オブジェクト１２０又は決定ボタン１２４に移動し非入力状態にすることを、定位置オブジェクト１２０又は決定ボタン１２４を握ると呼ぶこともある。

ここで、難易度について説明する。１回の出題で出現するマーカの数及び色数を調整することにより難易度の調整が可能である。また、所定回数の出題間で、マーカの色及び／又は数を異ならせることによっても、難易度を調整できる。例えば、１回の出題で第１の色彩のマーカのみを２個表示し、次の出題で、第２の色彩のマーカのみを２個表示し、これらの出題を交互に繰り返すこともできる。

以上のように、このモードでは、プレイヤは、最後に出題されたマーカの色及び位置を記憶することを試み、全ての出題終了後に、指示された色のマーカの最後の位置をカーソル７０Ｌ又は７０Ｒによって指し示すことを行う。従って、このモードにより、プレイヤの短期的な記憶力（短期記憶の一種）のトレーニングを図ることができる。また、プレイヤが決定ボタン１２４を握ってはじめて選択が確定する。従って、プレイヤが意図していない選択状態に基づいて、正否の判断が行われることを極力防止できる。

［第２のナンバーキャッチモード］

第２のナンバーキャッチモードの内容は、第１のナンバーキャッチモードの内容と同様である。第２のナンバーキャッチモードは、第１のナンバーキャッチモードと比較して、難易度の調整に特徴を有する。以下、異なる点を中心に説明する。

図９は、図１の練磨システムによる第２のナンバーキャッチモードでの練磨画面の例示図である。図９を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、６×６の正方形ブロックに分割されたボード１１を表示する。ただし、ボード１１の中心の２×２の正方形ブロックに相当する領域には、プレイ終了までの残り時間（例えば３０秒からのカウントダウン）を表すタイマ１３が表示される。

マルチメディアプロセッサ５０は、ボード１１の任意に選択された所定数の正方形ブロックに、不連続かつ異なる数字（整数）を表示する。この際、数字を表す画像の大きさとして、大小二種類が用意される。数字を表す画像の大きさが共通であれば難易度は低くなるので、二種類用意することで、難易度の調整が可能である。もちろん、三種類以上用意することもできる。さらに、数字は、所定角度だけ時計回り又は反時計回りに回転して表示されることもある。数字が、回転なしに正しく表示される場合は難易度が低くなるので、このように、回転して表示することで、難易度の調整ができる。

また、このモードでは、片手でプレイするので、マルチメディアプロセッサ５０は、１つのカーソル７０Ｌのみを表示する。図の例では、左手に対応するカーソル７０Ｌが表示されているので、プレイヤは、左手でカーソル７０Ｌを操作する。なお、左手でのプレイの前あるいは後に右手でのプレイを行うので、そのときは、右手に対応するカーソル７０Ｒが表示される。

このモードも、第１のナンバーキャッチモード同様、プレイヤは、値が小さい数字から順番に、できるだけ早く、数字を握ることを試みる。小さい数字から順番に正しく握られた場合は、当該数字を消滅させる。もし、正しい順番で握られなかった場合は、その旨を音声（例えば、ブザー音）でプレイヤに知らせると共に、間違って握られた数字を青枠で囲み、正しい数字を赤枠で囲んでプレイヤに知らせる。

以上のように、このモードでは、プレイヤは、数字が小さいものから順番に、できるだけ早く握ることを試みる。従って、このモードにより、いかに早く、しかも、順番どおりに、数字を認識することができるか、という能力（瞬間認識の一種）のトレーニングを行うことができる。

［第３のナンバーキャッチモード］

第３のナンバーキャッチモードは、第２のナンバーキャッチモードを二人のプレイヤで同時に行うものである。

図１０は、図１の練磨システムによる第３のナンバーキャッチモードでの練磨画面の例示図である。図１０を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５にボード１１を表示する。このボード１１は、中心で左右に分割されており、第１プレイヤ用のボード２２−１と第２プレイヤ用のボード２２−２とを含む。

また、マルチメディアプロセッサ５０は、ボード２２−１の任意に選択された所定数の正方形ブロックに、不連続かつ異なる数字（整数）を表示する。同時に、マルチメディアプロセッサ５０は、ボード２２−１に表示する数字と完全同一の数字を、ボード２２−２の対応する同じ正方形ブロックに表示する。完全同一とは、数字の値、大きさ、及び形態（回転）が同一であることを指す。

さらに、このモードでは、マルチメディアプロセッサ５０は、第１プレイヤが例えば右手に装着した入力装置３Ｌに連動するカーソル２４−１及び第２プレイヤが例えば右手に装着した入力装置３Ｒに連動するカーソル２４−２を表示する。

このモードも、第２のナンバーキャッチモード同様、第１及び第２プレイヤは、値が小さい数字から順番に、できるだけ早く、数字を握ることを試みる。なお、開始は両者同時であり、タイマ１３に従う。また、小さい数字から順番に正しく握られた場合は、当該数字を消滅させる。もし、正しい順番で握られなかった場合は、その旨を音声（例えば、ブザー音）でプレイヤに知らせると共に、間違って握られた数字を青枠で囲み、正しい数字を赤枠で囲んでプレイヤに知らせる。

以上のように、このモードでは、プレイヤは、数字が小さいものから順番に、できるだけ早く握ることを試みる。従って、このモードにより、いかに早く、しかも、順番どおりに、数字を認識することができるか、という能力（瞬間認識の一種）のトレーニングを行うことができる。また、二人のプレイヤが競争することになるので、プレイヤの集中力及びやる気を向上できる。

［蝶キャッチモード］

図１１は、図１の練磨システムによる蝶キャッチモードでの練磨画面の例示図である。図１１を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、飛び回る三種類の蝶オブジェクト２９，３１及び３３を表示する。蝶オブジェクト２９，３１及び３３の大きさは、それぞれ、大、小、及び中となっている。特に、蝶オブジェクト３３は、他の蝶オブジェクト２９及び３１と比較して、素早く動くように制御される。

また、このモードでは、片手でプレイするので、マルチメディアプロセッサ５０は、１つのカーソル７０Ｒのみを表示する。図の例では、右手に対応するカーソル７０Ｒが表示されているので、プレイヤは、右手でカーソル７０Ｒを操作する。なお、右手でのプレイの前あるいは後に左手でのプレイを行うので、そのときは、左手に対応するカーソル７０Ｌが表示される。

このモードでは、プレイヤは、時間内（例えば３０秒）にできるだけ多くの蝶オブジェクト２９，３１及び３３を握ることを試みる。時間の目安のために、マルチメディアプロセッサ５０は、タイマ２７（例えば３０秒からのカウントダウン）を表示する。また、マルチメディアプロセッサ５０は、取得数表示部３５を表示する。取得数表示部３５には、どの蝶オブジェクトをいくつ握ったか（取得したか）が示される。

また、このモードでは、三段階のレベルが用意される。第２及び第３のレベルでは、蝶オブジェクト２９，３１及び３３は、カーソル７０Ｒ（７０Ｌ）との間の距離が所定距離になると、カーソル７０Ｒ（７０Ｌ）から離れるように制御される。この場合、蝶オブジェクト２９，３１及び３３は、第３のレベルのほうが、第２のレベルより大きく離れる。第１のレベルでは、蝶オブジェクト２９，３１及び３３の軌道に、カーソル７０Ｒ（７０Ｌ）の位置は考慮されない。このような蝶オブジェクト２９，３１及び３３の制御はマルチメディアプロセッサ５０が行う。

以上のように、このモードでは、プレイヤは、動き回る蝶オブジェクト２９，３１及び３３を、できるだけ早く多く握ることを試みる。従って、このモードにより、俊敏性及び先を読む力のトレーニングを行うことができる。

［ストループモード］

ストループモードとはストループ効果（ｓｔｒｏｏｐ ｅｆｆｅｃｔ）を利用したモードである。ストループ効果とは、人間の情報処理過程において、感覚情報（例えば色）と言語情報（例えば文字）とが干渉しあう現象のことである。例えば、色名を答える質問を行ったときに、緑インクで記された「みどり」という文字自体の色名を答えるときより、赤インクで記された「みどり」という文字自体の色名（答えは赤）を答えるほうが時間がかかる事をいう。

図１２（ａ）及び図１２（ｂ）は、図１の練磨システムによるストループモードでの練磨画面の例示図である。図１２（ａ）及び図１２（ｂ）を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、六角形の言語情報提示部３９を表示する。言語情報提示部３９には、「絵」又は「声」なる文字のいずれかが表示される。また、マルチメディアプロセッサ５０は、言語情報提示部３９の上下左右に、感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒを表示し、このうちの１つの色を他の３つの色と異ならせる。さらに、マルチメディアプロセッサ５０は、「ウエ」、「シタ」、「ヒダリ」、又は「ミギ」なる音声のうちの１つを出力する。ただし、唯１つ色が異なる感覚情報提示部が位置する方向と異なる方向を示す音声が出力される。

図１２（ａ）に示すように、プレイヤは、言語情報提示部３９に「絵」なる文字が表示されると、カーソル７０Ｒを操作して、４つの感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒのうち、色が異なる感覚情報表示部をできるだけ素早く握ることを試みる。この場合、音声により示される方向の感覚情報提示部を握ると失敗となる。

言語情報提示部３９の周りには６個のカウントダウンオブジェクト４１が表示され、所定時間が経過するたびに、１つのカウントダウンオブジェクト４１の色が変化する。この場合、右上のカウントダウンオブジェクト４１から開始して、時計回りに色が変化し、左上のカウントダウンオブジェクト４１の色が変化したらプレイ終了となる。

また、図１２（ｂ）に示すように、プレイヤは、言語情報提示部３９に「声」なる文字が表示されると、カーソル７０Ｒを操作して、４つの感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒのうち、マルチメディアプロセッサ５０が出力する音声が示す方向に位置する感覚情報表示部をできるだけ素早く握ることを試みる。この場合、唯１つ色が異なる感覚情報提示部を握ると失敗となる。

マルチメディアプロセッサ５０は、以上のような表示を、言語情報提示部３９の文字及び感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒの色を変えながら繰り返し、プレイヤに右手によるプレイを行わせる。右手によるプレイが終了すると、左手によるプレイを行わせるべく、カーソル７０Ｒに変えて、左手に対応するカーソル７０Ｌが表示される。

以上のように、このモードでは、ストループ効果を利用したプレイを行うことができる。その結果、プレイヤの行動選択及び妨害排除といった機能を鍛えることができる。

［パネルエスケープモード］

図１３は、図１の練磨システムによるパネルエスケープモードでの練磨画面の例示図である。図１３を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、１５×１５の正方形ブロックに分割されたボード４３を表示する。また、マルチメディアプロセッサ５０は、入力装置３Ｒの動きに連動するカーソル４５と、このカーソル４５に向かって動いて行く正方形のスレイブオブジェクト４７と、を表示する。この場合、スレイブオブジェクト４７は、ボード４３の１正方形ブロックを１単位として動く。ただし、スレイブオブジェクト４７は、水平あるいは垂直方向に動き、斜め方法には動かない。さらに、マルチメディアプロセッサ５０は、ターゲット４９を、ボード４３の正方形ブロックのいずれかに表示する。

プレイヤは、カーソル４５を操作して、スレイブオブジェクト４７をターゲット４９に重ねることを試みる。マルチメディアプロセッサ５０は、スレイブオブジェクト４７がターゲット４９に重ねられた場合は、そのターゲット４９を消失させ、新たなターゲット４９を他の正方形ブロックに表示する。

この場合、マルチメディアプロセッサ５０は、ボード４３の左右の縁から回避オブジェクト６０Ｈ（例えば赤色）を出現させ、他方の縁に向かって水平方向に移動させる。また、マルチメディアプロセッサ５０は、ボード４３の上下の縁から回避オブジェクト６０Ｖ（例えば青色）を出現させ、他方の縁に向かって垂直方向に移動させる。なお、回避オブジェクト６０Ｈ及び６０Ｖの出現時には、その中に進行方向を示す矢印が表記される。

スレイブオブジェクト４７がターゲット４９に重ねられた場合は、マルチメディアプロセッサ５０は、ポイントを１つ加算するが、スレイブオブジェクト４７が、回避オブジェクト６０Ｈ又は６０Ｖに接触した場合は、ポイントが１つ減算される。従って、プレイヤは、回避オブジェクト６０Ｈ及び６０Ｖの動きを予想しながら、カーソル４５を操作して、スレイブオブジェクト４７をターゲット４９に導く必要がある。このため、プレイヤの先を読む力の鍛錬を行うことができる。

［バランスラインモード］

図１４は、図１の練磨システムによるバランスラインモードでの練磨画面の例示図である。図１４を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、バー６６Ｌ及び６６Ｒ、棒状の操作オブジェクト６３、並びにカーソル６９Ｌ及び６９Ｒを表示する。マルチメディアプロセッサ５０は、カーソル６９Ｌ及び６９Ｒを、それぞれ、入力装置３Ｌ及び３Ｒの動きに連動させる。また、マルチメディアプロセッサ５０は、カーソル６９Ｌの動きに従って、操作オブジェクト６３の左端を、バー６６Ｌに沿って上下させる。一方、マルチメディアプロセッサ５０は、カーソル６９Ｒの動きに従って、操作オブジェクト６３の右端を、バー６６Ｒに沿って上下させる。操作オブジェクト６３は直線状であるが、伸縮するので、カーソル６９Ｌ及び６９Ｒを操作することにより、操作オブジェクト６３を水平にしたり、任意の角度で斜めにしたりすることができる。

また、マルチメディアプロセッサ５０は、ボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇを、任意の順番で、画面の上端中央から、次々に出現させ、下方に落下させる。ボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇの色は、それぞれ、赤、青、黄、及び緑である。ボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇのそれぞれに対応して、長方形状の受け皿オブジェクト７５Ｒ，７５Ｂ，７５Ｙ及び７５Ｇが表示される。受け皿オブジェクト７５Ｒ，７５Ｂ，７５Ｙ及び７５Ｇの色は、それぞれ、赤、青、黄、及び緑である。

プレイヤは、カーソル６９Ｌ及び６９Ｒにより、操作オブジェクト６３を操作し、落下してくるボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇを打ち返して、対応する同じ色の受け皿オブジェクト７５Ｒ，７５Ｂ，７５Ｙ及び７５Ｇまで打ち返すことを試みる。この際、ボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇを対応する同じ色の受け皿オブジェクト７５Ｒ，７５Ｂ，７５Ｙ及び７５Ｇに打ち返すことができた場合、それぞれ、０点、２点、１点、及び３点が加算される。

以上のように、プレイヤは落下してくるボールオブジェクト６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇが何色かを瞬時に判断して適切な受け皿オブジェクト７５Ｒ，７５Ｂ，７５Ｙ及び７５Ｇに打ち返す必要がある。このため、プレイヤの瞬間的な判断力を鍛えることができる。

［リズムボールモード］

図１５は、図１の練磨システムによるリズムボールモードでの練磨画面の例示図である。図１５を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、２０×２０のドットからなる経路領域７６を表示する。マルチメディアプロセッサ５０は、経路領域７６のドットの色を変更することにより、右経路７８Ｌ及び左経路７８Ｒの形状を変更できる。

この経路７８Ｌ及び７８Ｒの形状に関係なく、経路７８Ｌ及び７８Ｒは、それぞれ、経路領域７６の下縁に表示された受領オブジェクト７２Ｌ及び７２Ｒに延びるように設定される。受領オブジェクト７２Ｌ及び７２Ｒの位置は固定である。また、マルチメディアプロセッサ５０は、カーソル６９Ｌ及び６９Ｒを表示する。受領オブジェクト７２Ｌ及び７２Ｒは、それぞれ、入力装置３Ｌ及び３Ｒの入力状態から非入力状態の検出に応答して、収縮し、非入力状態から入力状態の検出に応答して、再び拡張する。

マルチメディアプロセッサ５０は、ボールオブジェクト７４Ｌ及び７４Ｒをそれぞれ、画面上縁から出現させ、それぞれ、経路７８Ｌ及び７８Ｒに沿って、受領オブジェクト７２Ｌ及び７２Ｒへ向かって移動させる。この場合、ボールオブジェクト７４Ｌ及び７４Ｒの出現タイミング及び間隔は、出力する音楽に合わせて設定される。

プレイヤは、入力装置３Ｌ及び３Ｒにより、受領オブジェクト７２Ｌ及び７２Ｒを操作して、ボールオブジェクト７４Ｌ及び７４Ｒが受領オブジェクト７２Ｌ及び７２Ｒに到達するタイミングで、受領オブジェクト７２Ｌ及び７２Ｒを収縮させる。プレイヤは、次々に移動してくるボールオブジェクト７４Ｌ及び７４Ｒに合わせて適切なタイミングで受領オブジェクト７２Ｌ及び７２Ｒを収縮させる必要があるので、判断力及び先を読む力を鍛えることができる。また、ボールオブジェクト７４Ｌ及び７４Ｒは音楽に合わせて出現及び移動してくるので、リズム感を鍛えることもできる。

［シャッフルメモリモード］

図１６（ａ）〜図１６（ｃ）は、図１の練磨システムによるシャッフルメモリモードでの練磨画面の例示図である。図１６（ａ）を参照して、マルチメディアプロセッサ５０は、テレビジョンモニタ５に、五個のパネル８６−１〜８６−５を表示する。パネル８６−１〜８６−５には、それぞれ異なる図形が記されている。このようなパネル８６−１〜８６−５の表示と同時に、タイマ８０がカウントダウンを開始し（例えば１５秒からの）、カウントが０になった時、図１６（ｂ）に示すように、パネル８６−１〜８６−５が裏返され、ＯＫオブジェクト１０３が消失する。一方、タイマ８０が０になる前でも、プレイヤが入力装置３Ｌの動きに連動するカーソル７０Ｒを操作して、ＯＫオブジェクト１０３を握ると、図１６（ｂ）に示すように、パネル８６−１〜８６−５が裏返され、ＯＫオブジェクト１０３が消失する。図１６（ａ）の画面の表示中において、プレイヤは、どのパネル８６−１〜８６−５にどの図形が記されているかを記憶することを試みる。

パネル８６−１〜８６−５が裏返されると、マルチメディアプロセッサ５０は、回数明示オブジェクト８２に記された回数だけ、裏返されたパネル８６−１〜８６−５をシャッフルする。図の例では、パネル８６−１と８６−５とを入れ替えると共に、パネル８６−３と８６−４とを入れ替える（２回シャッフル）。

このシャッフルの終了後に、図１６（ｃ）に示すように、マルチメディアプロセッサ５０は、出題オブジェクト９１を表示する。出題オブジェクト９１には、パネル８６−１〜８６−５のうち、いずれか１つのパネルに記された図形が記される。プレイヤは、カーソル７０Ｒを操作して、出題オブジェクト９１に記された図形と同じ図形が記されたパネル８６−１，８６−２，８６−３又は８６−５を握る。適切なパネルを握ることができれば正解、そうでなければ不正解となる。

図１６（ａ）〜図１６（ｃ）に示した画面の表示が、出題オブジェクト９１に記された図形及びシャッフル回数を変えながら繰り返し行われる。なお、シャッフル回数が増えれば記憶も難しくなり難易度が上がる。また、パネルの数を多くすると難易度が上がり、少なくすると難易度が下がる。

以上のように、プレイヤは、決められた時間内に、パネル８６−１〜８６−５の配置とそこに記された図形を記憶し、かつ、パネルの入れ替えを目で追って記憶して行かなければならない。このため、プレイヤの記憶力を鍛えることができる。

次に、モードの選択のための選択画面について説明する。

図１７は、図１の練磨システムによるモード選択画面の例示図である。図１７（ａ）を参照して、マルチメディアプロセッサ５０は、方向ボタン１３０Ｌ及び１３０Ｒ、選択対象１３２、並びにカーソル７０Ｌ及び７０Ｒを含む選択画面をテレビジョンモニタ５に表示する。カーソル７０Ｌ及び７０Ｒについては、フラッシュキャッチモードと同様である。

図１７（ｂ）に示すように、プレイヤが、入力状態でカーソル７０Ｌ又は７０Ｒを方向ボタン１３０Ｒ上に移動し非入力状態にすると、マルチメディアプロセッサ５０は、選択対象１３２を右方向に回転し、左隣の選択対象１３２を表示する。一方、プレイヤが、入力状態でカーソル７０Ｌ又は７０Ｒを方向ボタン１３０Ｌ上に移動し非入力状態にすると、マルチメディアプロセッサ５０は、選択対象１３２を左方向に回転し、右隣の選択対象１３２を表示する。プレイヤは、このような操作により、所望の選択対象１３２を表示する。そして、プレイヤが、入力状態でカーソル７０Ｌ又は７０Ｒを選択対象１３２上に移動し非入力状態にすると、マルチメディアプロセッサ５０は、その選択対象１３２に対応するモードを実行する。

ここで、入力状態でカーソル７０Ｌ又は７０Ｒを方向ボタン１３０Ｌ若しくは１３０Ｒ又は選択対象１３２に移動し非入力状態にすることを、方向ボタン１３０Ｌ若しくは１３０Ｒ又は選択対象１３２を握ると呼ぶこともある。

ところで、上記の第２のナンバーキャッチモード等のように、片手ずつプレイを行うモードがある。この場合、左右いずれの手を最初に使ってプレイするかは、予め定めておいてもよいが、プレイヤに選択させることもできる。この場合の左右選択画面について説明する。

図１８は、図１の練磨システムによる左右選択画面の例示図である。図１８を参照して、この左右選択画面は、左手を模した左手オブジェクト８８Ｌ及び右手を模した右手オブジェクト８８Ｒを含む。また、入力装置３Ｌ及び３Ｒの動きにそれぞれ連動するカーソル７０Ｌ及び７０Ｒが表示される。

プレイヤは、いずれかのカーソル７０Ｌ又は７０Ｒを操作して、左手オブジェクト８８Ｌ及び右手オブジェクト８８Ｒのいずれかを握る。すると、握られたオブジェクト８８Ｌ又は８８Ｒに対応するカーソル７０Ｌ又は７０Ｒが練磨画面に表示される。従って、プレイヤは、所望の手でのプレイを行うことができる。

次に、入力装置３の他の装着方法を説明する。

図１９は、図１の入力装置３の他の装着例を示す図である。図１９を参照して、プレイヤは、中指を図２のベルト１９に通して、入力装置３を装着する。この場合、透明体１７及び再帰反射シート１５が、手の甲の側にくるようにする。この点、図３の場合と異なる。従って、プレイヤが、情報処理装置１に、つまり、イメージセンサ５４に、手の甲を向けると、透明体１７、つまり、再帰反射シート１５が現れ、この再帰反射シート１５が撮影される（入力状態）。一方、イメージセンサ５４に、手の平を向けると、透明体１７、つまり、再帰反射シート１５は、隠れてしまい、イメージセンサ５４に撮影されない（非入力状態）。従って、プレイヤは、肘を支点、腕を軸として、手を回転させることによって、再帰反射シート１５を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力／非入力の制御を行うことができる。上記の各モードにおいて、プレイヤに対し、このような方法で、入力／非入力を行わせることもできる。

図２０は、図１の入力装置３のさらに他の装着例を示す図である。図２０を参照して、プレイヤは、中指を図２のベルト１９に通して、入力装置３を装着する。この場合、透明体１７及び再帰反射シート１５が、手の甲の側にくるようにする。そして、プレイヤは、手を握り締める。従って、プレイヤが、情報処理装置１に、つまり、イメージセンサ５４に、こぶしを向けると、透明体１７、つまり、再帰反射シート１５が現れ、この再帰反射シート１５が撮影される（入力状態）。一方、こぶしをイメージセンサ５４から隠すと（例えば左右の手の指背部を合わせる。）、透明体１７、つまり、再帰反射シート１５は、イメージセンサ５４に撮影されない（非入力状態）。従って、プレイヤは、こぶしの向きを変えることによって、再帰反射シート１５を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力／非入力の制御を行うことができる。上記の各モードにおいて、プレイヤに対し、このような方法で、入力／非入力を行わせることもできる。

さて、以上のように、本実施の形態によれば、プレイヤが、再帰反射シート１５を撮像させたら入力状態と判定され、再帰反射シート１５が撮像されないようにしたら非入力状態と判定される。従って、プレイヤに対して、入力状態と非入力状態とを繰り返し行わせるような映像（例えば、図５、図７、図８）を表示することにより、プレイヤは、再帰反射シート１５が撮像される状態と撮像されない状態とを繰り返しつくり出さなければならない。これに伴って、プレイヤは、その様な状態の変化に応じた運動をすることになる。その結果、プレイヤに対して、運動を行わせることができ、健康の維持・増進やリハビリテーションの支援を図ることができる。また、プレイヤは、両手を使うことになるので、両手をバランス良く動かす運動を行うことができる。

加えて、テレビジョンモニタ５に表示する映像を人間の所定の能力に関連したもの（例えば、図５〜図８）とすることにより、人間の所定の能力のトレーニングを行うことができる。ここで、所定の能力とは、動体認識能力、動体予測能力、瞬間認識能力、及び短期記憶能力など、目等の感覚器官→感覚神経→脳→運動神経→手等の身体の部位という一連の伝達機能及び記憶機能を含む。

図３の装着例に関連して、この場合は、プレイヤの手の平の側に装着された再帰反射シート１５が撮像される。従って、プレイヤは、手を開いて再帰反射シート１５を撮像させ入力状態とし、手を握り締めて再帰反射シート１５を隠して非入力状態とすることができる。この場合、手を開くこと（じゃんけんの「ぱあ」）と握り締めること（じゃんけんの「ぐう」）を繰り返すことになる。また、必然的に、ある程度又は完全に、腕を前方に伸ばして、そのような動作を行うことになる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。

また、図１０の装着例に関連して、この場合は、プレイヤの手の甲の側に装着された再帰反射シート１５が撮像される。従って、プレイヤは、手の甲の側をイメージセンサ５４に向けて再帰反射シート１５を撮像させ入力状態とし、手の平の側をイメージセンサ５４に向けて再帰反射シート１５を隠して非入力状態とすることができる。この場合、肘を支点、腕を軸にして手を回転させることになる。また、必然的に、ある程度又は完全に、腕を前方に伸ばして、そのような動作を行うことになる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。

さらに、図１１の装着例に関連して、この場合は、手を握り締めた状態で手の甲の側に装着された再帰反射シート１５が撮像される。従って、プレイヤは、こぶしをイメージセンサ５４に向けて再帰反射シート１５を撮像させ入力状態とし、こぶしをイメージセンサ５４から隠して（例えば左右の手の指背部を合わせて）非入力状態とすることができる。従って、このような、日常生活において、あまり行わない動作に依存する神経や筋肉を鍛えることができる。

さて、次に、再帰反射シート１５Ｌ及び１５Ｒの検出処理及び左右決定処理を図面を用いて説明する。

図２１は、再帰反射シート１５Ｌ及び１５Ｒの検出処理の説明図である。図２１には、赤外光発光時及び消灯時の画像データから生成した差分画像データに基づく差分画像（３２×３２ピクセル）が図示されている。図中、小さい正方形は１ピクセルを示す。また、左上角をＸＹ座標軸の原点とする。

この画像には、輝度値が大きい２つの領域２５１及び２５３が含まれる。領域２５１及び２５３は、再帰反射シート１５Ｌ及び１５Ｒである。ただし、この時点では、どの領域がどの再帰反射シートに対応するかは判別できない。

まず、マルチメディアプロセッサ５０は、Ｙ＝０を出発点として、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンし、次に、Ｙをインクリメントし、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンする。このような処理をＹ＝３１まで行い、３２×３２ピクセルの差分画像データをスキャンして、閾値ＴｈＬより大きいピクセルデータの上端位置ｍｉｎＹ、下端位置ｍａｘＹ、左端位置ｍｉｎＸ、及び右端位置ｍａｘＸを求める。

次に、マルチメディアプロセッサ５０は、座標（ｍｉｎＸ，ｍｉｎＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＴを算出する。また、マルチメディアプロセッサ５０は、座標（ｍａｘＸ，ｍｉｎＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＴを算出する。さらに、マルチメディアプロセッサ５０は、座標（ｍｉｎＸ，ｍａｘＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＢを算出する。さらに、マルチメディアプロセッサ５０は、座標（ｍａｘＸ，ｍａｘＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＢを算出する。

マルチメディアプロセッサ５０は、距離ＬＴ＞ＲＴのときは、座標（ｍａｘＸ，ｍｉｎＹ）を第１抽出点とし、距離ＬＴ≦ＲＴのときは、座標（ｍｉｎＸ，ｍｉｎＹ）を第１抽出点とする。また、マルチメディアプロセッサ５０は、距離ＬＢ＞ＲＢのときは、座標（ｍａｘＸ，ｍａｘＹ）を第２抽出点とし、距離ＬＢ≦ＲＢのときは、座標（ｍｉｎＸ，ｍａｘＹ）を第２抽出点とする。

図２２は、左右決定処理の説明図である。図２２には、前回（１ビデオフレーム前）の再帰反射シート１５Ｌの位置ＴＰＬ２及び前々回（２ビデオフレーム前）の位置ＴＰＬ１、並びに、前回（１ビデオフレーム前）の再帰反射シート１５Ｒの位置ＴＰＲ２及び前々回（１ビデオフレーム前）の位置ＴＰＲ１が図示されている。位置ＴＰＬ１，ＴＰＬ２，ＴＰＲ１及びＴＰＲ２は、差分画像データに基づく差分画像上の位置である。

マルチメディアプロセッサ５０は、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬを算出する。そして、位置ＴＰＬ２を始点とする速度ベクトルＶＬの終点を、再帰反射シート１５Ｌの予測位置ＴＰＬｐとする。一方、マルチメディアプロセッサ５０は、位置ＴＰＲ１を始点、位置ＴＰＲ２を終点とする速度ベクトルＶＲを算出する。そして、位置ＴＰＲ２を始点とする速度ベクトルＶＲの終点を、再帰反射シート１５Ｒの予測位置ＴＰＲｐとする。

マルチメディアプロセッサ５０は、第１抽出点ＴＰＮ１と予測位置ＴＰＬｐとの距離ＬＤ１、第１抽出点ＴＰＮ１と予測位置ＴＰＲｐとの距離ＲＤ１、第２抽出点ＴＰＮ２と予測位置ＴＰＬｐとの距離ＬＤ２、及び、第２抽出点ＴＰＮ２と予測位置ＴＰＲｐとの距離ＲＤ２を求める。

マルチメディアプロセッサ５０は、距離ＬＤ１＞ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１５Ｒの今回の位置とし、距離ＬＤ１≦ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１５Ｌの今回の位置とする。また、マルチメディアプロセッサ５０は、距離ＬＤ２＞ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１５Ｒの今回の位置とし、距離ＬＤ２≦ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１５Ｌの今回の位置とする。

このように、左右の予測位置ＴＰＬｐ及びＴＰＲｐに基づいて、第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２に左右を割り当てているため、再帰反射シート１５Ｌと再帰反射シート１５Ｒとの左右が入れ替わった場合でも（クロスした場合でも）、マルチメディアプロセッサ５０は、差分画像データに基づく差分画像上において、再帰反射シート１５Ｌ及び１５Ｒの各々を的確に認識できる。

さて、次に、マルチメディアプロセッサ５０による処理の流れをフローチャートを用いて説明する。

図２３は、図４のマルチメディアプロセッサ５０による全体処理の流れの一例を示すフローチャートである。図２３を参照して、ステップＳ１にて、マルチメディアプロセッサ５０は、各種変数（フラグやカウンタを含む。）の初期化等、システムの初期設定を実行する。ステップＳ３にて、マルチメディアプロセッサ５０は、外部メモリ５２に格納されたアプリケーションプログラムに従った処理を実行する。ステップＳ５にて、マルチメディアプロセッサ５０は、ビデオ同期信号による割り込みが発生するまで待機する。つまり、マルチメディアプロセッサ５０は、ビデオ同期信号による割り込みが発生していない場合は、同じステップＳ５に戻り、ビデオ同期信号による割り込みが発生した場合は、ステップＳ７に進む。例えば、ビデオ同期信号による割り込みは、１／６０秒ごとに発生する。この割り込みに同期して、ステップＳ７及びステップＳ９にて、マルチメディアプロセッサ５０は、テレビジョンモニタ５に表示する画像を更新すると共に、音声の再生を行う。そして、マルチメディアプロセッサ５０は、ステップＳ３に戻る。

ステップＳ３の処理を制御するアプリケーションプログラムは、複数のプログラムを含む。この複数のプログラムに、下記するフローチャートが示す処理を実行するプログラムが含まれる。

図２４は、図２３のステップＳ３におけるアプリケーションプログラムによる処理の主要部分の流れの一例を示すフローチャートである。図２４を参照して、ステップＳ２１にて、マルチメディアプロセッサ５０は、再帰反射シート１５Ｌ及び１５Ｒの撮影処理を実行する。ステップＳ２３にて、マルチメディアプロセッサ５０は、ステップＳ２１で得られた画像に基づいて、再帰反射シート１５Ｌ及び１５Ｒの像を検出する。ステップＳ２５にて、マルチメディアプロセッサ５０は、ターゲットを適切に握る処理が行われたか否かを判定する。ステップＳ２７にて、マルチメディアプロセッサ５０は、テレビジョンモニタ５に表示する映像の制御や、その他の必要な演算を実行する。

ここで、ターゲットとは、プレイヤが握る対象のことを意味し、上記例では、定位置オブジェクト１００及び１２０、ターゲット１１０、図９及び図１０の数字、蝶オブジェクト２９，３１及び３３、３７、感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒ、ボールオブジェクト７４Ｌ及び７４Ｒ、８４、パネル８６−１〜８６−５、ＯＫオブジェクト１０３、並びに方向ボタン１３０Ｌ及び１３０Ｒである。

また、ターゲットを握るとは、プレイヤが、入力状態でカーソルをターゲットまで移動し、非入力状態にすることである。

図２５は、図２４のステップＳ２１における撮影処理の流れの一例を示すフローチャートである。図２５に示すように、ステップＳ４１において、マルチメディアプロセッサ５０は、赤外発光ダイオード９を点灯する。ステップＳ４３で、マルチメディアプロセッサ５０は、イメージセンサ５４から、赤外光点灯時の画像データを取得して、メインＲＡＭに格納する。

ここで、本実施の形態では、イメージセンサ５４の例として、３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサを使用する。従って、イメージセンサ５４からは、画像データとして、３２ピクセル×３２ピクセルのピクセルデータが出力される。このピクセルデータは、Ａ／Ｄコンバータにより、デジタルデータに変換されて、メインＲＡＭ上の二次元配列Ｐ１［Ｘ］［Ｙ］の要素として格納される。

ステップＳ４５で、マルチメディアプロセッサ５０は、赤外発光ダイオード９を消灯する。ステップＳ４７にて、マルチメディアプロセッサ５０は、イメージセンサ５４から、赤外光消灯時の画像データ（３２ピクセル×３２ピクセルのピクセルデータ）を取得して、メインＲＡＭに格納する。この場合、このピクセルデータは、メインＲＡＭ上の二次元配列Ｐ２［Ｘ］［Ｙ］の要素として格納される。

以上のようにして、ストロボ撮影が行われる。ここで、イメージセンサ５４による画像を構成する各ピクセルの位置を表す二次元座標系では、水平方向をＸ軸、垂直方向をＹ軸とする。また、原点Ｏを画像の左上角とする。本実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ５４を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１である。この点、差分画像ＤＩについても同じである。また、ピクセルデータは輝度値である。

図２６は、図２４のステップＳ２３におけるシート検出処理の流れの一例を示すフローチャートである。図２６に示すように、ステップＳ６１にて、マルチメディアプロセッサ５０は、赤外光発光時のピクセルデータＰ１［Ｘ］［Ｙ］と、赤外光消灯時のピクセルデータＰ２［Ｘ］［Ｙ］と、の差分を算出して、配列Ｄｉｆ［Ｘ］［Ｙ］に代入する。ステップＳ６３にて、マルチメディアプロセッサ５０は、３２×３２ピクセル分の差分を算出した場合は、ステップＳ６５に進み、そうでなければ、ステップＳ６１に進む。このように、マルチメディアプロセッサ５０は、ステップＳ６１の処理を繰り返して、赤外光発光時の画像データと、赤外光消灯時の画像データと、の差分画像データを生成する。このように、差分画像データ（差分画像）を求めることで、再帰反射シート１５Ｌ及び１５Ｒからの反射光以外の光によるノイズを極力除去でき、再帰反射シート１５Ｌ及び１５Ｒを精度良く検出できる。

ステップＳ６５にて、マルチメディアプロセッサ５０は、図２１で説明した左右上下端（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）検出処理を実行する。

図２７は、図２６のステップＳ６５における左右上下端検出処理の流れの一例を示すフローチャートである。図２７に示すように、ステップＳ９１にて、マルチメディアプロセッサ５０は、「Ｘ」、「Ｙ」、「ｍａｘＸ」、「ｍａｘＹ」、「ｋ」、及び「ＳＮ」に「０」を代入する。また、マルチメディアプロセッサ５０は、「ｍｉｎＸ」及び「ｍｉｎＹ」に「３１」を代入する。

ステップＳ９３にて、マルチメディアプロセッサ５０は、配列Ｄｉｆ［Ｘ］[Ｙ］の要素を所定の閾値ＴｈＬと比較する。ステップＳ９５にて、マルチメディアプロセッサ５０は、配列Ｄｉｆ［Ｘ］[Ｙ］の要素が所定の閾値ＴｈＬより大きい場合は、ステップＳ９７に進み、所定の閾値ＴｈＬ以下の場合は、ステップＳ１２１に進む。

ステップＳ９３，Ｓ９５の処理は、再帰反射シート１５Ｌ，１５Ｒが撮影されたか否かを検出するための処理である。再帰反射シート１５Ｌ，１５Ｒが撮影されると、差分画像上では、再帰反射シート１５Ｌ，１５Ｒに相当するピクセルの輝度値が大きくなる。このため、閾値ＴｈＬにより、輝度値の大小を峻別して、閾値ＴｈＬより大きい輝度値を持つピクセルを、撮影された再帰反射シート１５Ｌ，１５Ｒの一部であると認識する。

ステップＳ９７にて、マルチメディアプロセッサ５０は、カウント値ｋを１つインクリメントする。ステップＳ９９にて、マルチメディアプロセッサ５０は、カウント値ｋが「１」か否かを判断し、ｋ＝１であれば、ステップＳ１０１に進み、それ以外では、ステップＳ１０３に進む。

ステップＳ１０１では、マルチメディアプロセッサ５０は、最小Ｙ座標ｍｉｎＹに、現在のＹ座標を代入する。つまり、スキャンは、（Ｘ，Ｙ）＝（０，０）から開始して、Ｘ＝０〜３１まで行い、Ｙをインクリメントして、再び、Ｘ＝０〜３１まで行う、という処理を繰り返すので（後述のステップＳ１２１〜Ｓ１２９参照）、最初に閾値ＴｈＬを超えた要素（つまりピクセル）を持つ配列Ｄｉｆ［Ｘ］[Ｙ］の「Ｙ」が最小Ｙ座標ｍｉｎＹとなる。

ステップＳ１０３では、マルチメディアプロセッサ５０は、現在の最大Ｙ座標ｍａｘＹと現在のＹ座標とを比較する。ステップＳ１０５にて、マルチメディアプロセッサ５０は、現在の最大Ｙ座標ｍａｘＹより現在のＹ座標が大きい場合は、ステップＳ１０７に進み、それ以外はステップＳ１０９に進む。ステップＳ１０７では、マルチメディアプロセッサ５０は、最大Ｙ座標ｍａｘＹに、現在のＹ座標を代入する。

ステップＳ１０９では、マルチメディアプロセッサ５０は、現在の最小Ｘ座標ｍｉｎＸと現在のＸ座標とを比較する。ステップＳ１１１にて、マルチメディアプロセッサ５０は、現在の最小Ｘ座標ｍｉｎＸより現在のＸ座標が小さい場合は、ステップＳ１１３に進み、それ以外はステップＳ１１５に進む。ステップＳ１１３では、マルチメディアプロセッサ５０は、最小Ｘ座標ｍｉｎＸに、現在のＸ座標を代入する。

ステップＳ１１５では、マルチメディアプロセッサ５０は、現在の最大Ｘ座標ｍａｘＸと現在のＸ座標とを比較する。ステップＳ１１７にて、マルチメディアプロセッサ５０は、現在の最大Ｘ座標ｍａｘＸより現在のＸ座標が大きい場合は、ステップＳ１１９に進み、それ以外はステップＳ１２１に進む。ステップＳ１１９では、マルチメディアプロセッサ５０は、最大Ｘ座標ｍａｘＸに、現在のＸ座標を代入する。

ステップＳ１２１では、マルチメディアプロセッサ５０は、「Ｘ」を１つインクリメントする。ステップＳ１２３にて、マルチメディアプロセッサ５０は、Ｘ＝３２のときは（つまり、差分画像のピクセル１行分の処理が終了したときは）ステップＳ１２５に進み、それ以外はステップＳ９３に進む。

ステップＳ１２５では、マルチメディアプロセッサ５０は、「Ｘ」に「０」を代入する。ステップＳ１２７にて、マルチメディアプロセッサ５０は、「Ｙ」を１つインクリメントする。ステップＳ１２５，Ｓ１２７の処理は、差分画像の１行分の処理が終了したため、次の１行分の処理を進めるために実行される。

ステップＳ１２９にて、マルチメディアプロセッサ５０は、Ｙ＝３２のときは（つまり、差分画像の３２×３２ピクセル分の処理が終了したときは）、ステップＳ１３１に進み、それ以外はステップＳ９３に進む。

上記ステップＳ９３〜Ｓ１２９を繰り返すことにより、Ｙ＝３２となった時点で、最小Ｘ座標ｍｉｎＸ、最大Ｘ座標ｍａｘＸ、最小Ｙ座標ｍｉｎＹ、及び最大Ｙ座標ｍａｘＹが全て確定する。

ステップＳ１３１では、「ｍａｘＸ」、「ｍａｘＹ」、「ｍｉｎＸ」及び「ｍｉｎＹ」が初期値のままであるか否かを判断し、初期値の場合はステップＳ１３３に進み、それ以外はリターンする。「ｍａｘＸ」、「ｍａｘＹ」、「ｍｉｎＸ」及び「ｍｉｎＹ」の全てが初期値ということは、差分画像の全ピクセルが閾値ＴｈＬ以下であり、再帰反射シート１５Ｌ及び１５Ｒが撮影されなかったことを意味する。従って、ステップＳ１３３では、マルチメディアプロセッサ５０は、撮影された再帰反射シートの数を示すシート数フラグＳＮに「０１」（撮影された再帰反射シートの数が０であることを示す。）を代入する。そして、ステップＳ１３５にて、マルチメディアプロセッサ５０は、左オープンフラグＯＬ及び右オープンフラグＯＲをオフにして、図２６のステップＳ７７に進む。左オープンフラグＯＬ及び右オープンフラグＯＲは、それぞれ、再帰反射シート１５Ｌ及び１５Ｒが撮影されたことを示すフラグである。

図２６に戻って、ステップＳ６７にて、マルチメディアプロセッサ５０は、図２１で説明した２点位置（第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）、第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］））の決定処理を実行する。

図２８は、図２６のステップＳ６７における２点位置決定処理の流れの一例を示すフローチャートである。図２８に示すように、マルチメディアプロセッサ５０は、ステップＳ１５１にて、「Ｍ」に「０」を代入して、ステップＳ１５３からステップＳ１８５までの処理を繰り返す。ここで、ステップＳ１５３に示すように、一回目のループのときは、Ｙｔｂ＝ｍｉｎＹ、二回目のループのときは、Ｙｔｂ＝ｍａｘＹ、である。ステップＳ１５５にて、マルチメディアプロセッサ５０は、座標（ｍｉｎＸ，Ｙｔｂ）を始点としてスキャンを開始する。

ステップＳ１５７にて、マルチメディアプロセッサ５０は、カウント値Ｃｌに「０」を代入する。ステップＳ１５９にて、マルチメディアプロセッサ５０は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ１６５に進み、それ以外は、ステップＳ１６１に進む。ステップＳ１６１では、マルチメディアプロセッサ５０は、カウント値Ｃｌを１つインクリメントする。ステップＳ１６３にて、マルチメディアプロセッサ５０は、座標Ｘを１つインクリメントして、ステップＳ１５９に進む。

ステップＳ１５９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｌは、図２１の距離ＬＴあるいはＬＢに相当する。ステップＳ１５５で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｌ＝ＬＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｌ＝ＬＢである。

ステップＳ１６５にて、マルチメディアプロセッサ５０は、座標（ｍａｘＸ，Ｙｔｂ）を始点としてスキャンを開始する。ステップＳ１６７にて、マルチメディアプロセッサ５０は、カウント値Ｃｒに「０」を代入する。ステップＳ１６９にて、マルチメディアプロセッサ５０は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ１７５に進み、それ以外は、ステップＳ１７１に進む。ステップＳ１７１では、マルチメディアプロセッサ５０は、カウント値Ｃｒを１つインクリメントする。ステップＳ１７３にて、マルチメディアプロセッサ５０は、座標Ｘを１つデクリメントして、ステップＳ１６９に進む。

ステップＳ１６９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｒは、図２１の距離ＲＴあるいはＲＢに相当する。ステップＳ１６５で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｒ＝ＲＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｒ＝ＲＢである。

ステップ１７５では、マルチメディアプロセッサ５０は、距離ＣｌとＣｒとを比較する。ステップＳ１７７にて、距離Ｃｌが距離Ｃｒより大きい場合は、ステップＳ１７９に進み、それ以外は、ステップＳ１８１に進む。

ステップＳ１８１では、「Ｘｔｐ［Ｍ］」に「ｍｉｎＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。一方、ステップＳ１７９では、「Ｘｔｐ［Ｍ］」に「ｍａｘＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。

ここで、座標（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図２１で説明した第１抽出点の座標であり、座標（Ｘｔｐ［１］，Ｙｔｐ［１］）は、第２抽出点の座標である。

ステップＳ１８３では、マルチメディアプロセッサ５０は、「Ｍ」を１つインクリメントして、ステップＳ１８５へ進む。ステップＳ１５３からステップＳ１８５までのループが終了するとリターンする。

図２６に戻って、ステップＳ６９にて、マルチメディアプロセッサ５０は、第１抽出点及び第２抽出点に左右を割り当てる処理を実行する。

図２９は、図２６のステップＳ６９における左右決定処理の流れの一例を示すフローチャートである。なお、再帰反射シート１５Ｌの位置を左抽出点、再帰反射シート１５Ｒの位置を右抽出点と呼ぶ。

図２９に示すように、ステップＳ２０１にて、マルチメディアプロセッサ５０は、過去（前回及び前々回）の左抽出点の位置（ＸＬ，ＹＬ）からの今回の左抽出点の位置（Ｘｎｌ，Ｙｎｌ）を予測する。ステップＳ２０３にて、マルチメディアプロセッサ５０は、過去（前回及び前々回）の右抽出点の位置（ＸＲ，ＹＲ）からの今回の右抽出点の位置（Ｘｎｒ，Ｙｎｒ）を予測する。ここで、左抽出点（Ｘｎｌ，Ｙｎｌ）は、図２２の予測位置ＴＰＬｐに相当し、右抽出点の位置（Ｘｎｒ，Ｙｎｒ）は、予測位置ＴＰＲｐに相当する。

ステップＳ２０５にて、マルチメディアプロセッサ５０は、「Ｍ」に「０」を代入する。ステップＳ２０７にて、マルチメディアプロセッサ５０は、予測位置（Ｘｎｌ，Ｙｎｌ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｌを算出する。ステップＳ２０９にて、マルチメディアプロセッサ５０は、予測位置（Ｘｎｒ，Ｙｎｒ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｒを算出する。

ここで、抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図２８のルーチンで求めた第１抽出点であり、抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）は、図２８のルーチンで求めた第２抽出点である。Ｍ＝０のときは、距離Ｄｌは、図２２の距離ＬＤ１に相当し、距離Ｄｒは、距離ＲＤ１に相当する。Ｍ＝１のときは、距離Ｄｌは、図２２の距離ＬＤ２に相当し、距離Ｄｒは、距離ＲＤ２に相当する。

ステップＳ２１１にて、マルチメディアプロセッサ５０は、距離Ｄｌと距離Ｄｒとを比較する。ステップＳ２１３にて、マルチメディアプロセッサ５０は、Ｄｌ＞ＤｒならばステップＳ２１５に進み、それ以外はステップＳ２１７に進む。

ステップＳ２１７では、マルチメディアプロセッサ５０は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。

一方、ステップＳ２１５では、マルチメディアプロセッサ５０は、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。

ステップＳ２１９では、マルチメディアプロセッサ５０は、「Ｍ」を１つインクリメントする。ステップＳ２２１にて、マルチメディアプロセッサ５０は、Ｍ＝２か否かを判断し、Ｍ＝２であればリターンし、それ以外はステップＳ２０７に進む。

図２６に戻って、ステップＳ７１にて、マルチメディアプロセッサ５０は、左抽出点（ＸＬ，ＹＬ）と右抽出点（ＸＲ，ＹＲ）との中点（ＸＭ，ＹＭ）を算出する。

そして、ステップＳ７３にて、マルチメディアプロセッサ５０は、検出した再帰反射シートの数を決定する処理を実行する。

図３０は、図２６のステップＳ７３における検出シート数決定処理の流れの一例を示すフローチャートである。図３０を参照して、ステップＳ２４１にて、マルチメディアプロセッサ５０は、左抽出点のＹ座標ＹＬと右抽出点のＹ座標ＹＲとを比較する。ステップＳ２４３にて、マルチメディアプロセッサ５０は、Ｙ座標ＹＬが大きい場合は、ステップＳ２５１に進み、それ以外はステップＳ２４７に進む。

ステップＳ２５１では、マルチメディアプロセッサ５０は、差分画像を、その右上がりの対角線に沿ってスキャンする。一方、ステップＳ２４７では、マルチメディアプロセッサ５０は、差分画像を、その右下がりの対角線に沿ってスキャンする。

ステップＳ２５３では、マルチメディアプロセッサ５０は、ステップＳ２４７又はＳ２５１でのスキャンの結果、閾値ＴｈＬ以下のピクセルを検出した場合は、２つの再帰反射シート１５Ｌ及び１５Ｒが撮影されたとみなして、ステップＳ２５５に進み、閾値ＴｈＬ以下のピクセルを検出しなかった場合は、再帰反射シート１５Ｌ及び１５Ｒのうちのいずれか一方のみが検出されたとみなして、ステップＳ２５９に進む。

ステップＳ２５５では、マルチメディアプロセッサ５０は、シート数フラグＳＮに「１１」（２つの再帰反射シート１５Ｌ及び１５Ｒが撮影されたことを示す。）をセットする。そして、ステップＳ２５７にて、マルチメディアプロセッサ５０は、左オープンフラグＯＬ及び右オープンフラグＯＲをオンする。一方、ステップＳ２５９では、マルチメディアプロセッサ５０は、シート数フラグＳＮに「１０」（再帰反射シート１５Ｌ及び１５Ｒのうちのいずれか一方のみが撮影されたことを示す。）をセットする。

図２６に戻って、ステップＳ７５にて、マルチメディアプロセッサ５０は、再帰反射シート１５Ｌ及び１５Ｒのうちのいずれか一方のみが撮影された場合に、どちらが撮影されたかを特定する処理（１点特定処理）を実行する。

図３１は、図２６のステップＳ７５における一点特定処理の流れの一例を示すフローチャートである。図３１を参照して、ステップＳ２７１にて、マルチメディアプロセッサ５０は、シート数フラグＳＮが「１０」か否か、つまり、再帰反射シート１５Ｌ及び１５Ｒのうちのいずれか一方のみが撮影されたか否かを判断して、ＹＥＳの場合、左右どちらの再帰反射シートかを特定するためにステップＳ２７３に進み、それ以外はリターンする。

ステップＳ２７３にて、マルチメディアプロセッサ５０は、予測位置（Ｘｎｌ，Ｙｎｌ）と中点（ＸＭ，ＹＭ）との間の距離Ｄｌｍを算出する。ステップＳ２７５にて、マルチメディアプロセッサ５０は、予測位置（Ｘｎｒ，Ｙｎｒ）と中点（ＸＭ，ＹＭ）との間の距離Ｄｒｍを算出する。なお、中点（ＸＭ，ＹＭ）は、図２６のステップＳ７１で求めたものである。また、予測位置（Ｘｎｌ，Ｙｎｌ）は、図２９のステップＳ２０１で求めたものである。予測位置（Ｘｎｒ，Ｙｎｒ）は、図２９のステップＳ２０３で求めたものである。

ステップＳ２７７にて、マルチメディアプロセッサ５０は、距離Ｄｌｍと距離Ｄｒｍとを比較する。ステップＳ２７９にて、マルチメディアプロセッサ５０は、Ｄｌｍ＞ＤｒｍならばステップＳ２８１に進み、それ以外はステップＳ２８５に進む。

ステップＳ２８１では、マルチメディアプロセッサ５０は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（０，０）とし、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（ＸＭ，ＹＭ）とする。そして、ステップＳ２８３にて、マルチメディアプロセッサ５０は、左オープンフラグＯＬをオフにし、右オープンフラグＯＲをオンにして、リターンする。

一方、ステップＳ２８５では、マルチメディアプロセッサ５０は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（ＸＭ，ＹＭ）とし、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（０，０）とする。そして、ステップＳ２８７にて、マルチメディアプロセッサ５０は、左オープンフラグＯＬをオンにし、右オープンフラグＯＲをオフにして、リターンする。

図２６に戻って、ステップＳ７７にて、マルチメディアプロセッサ５０は、左抽出点（ＸＬ，ＹＬ）及び右抽出点（ＸＲ，ＹＲ）をスクリーン座標に変換してリターンする。なお、図２７のステップＳ１３５に続く場合は、マルチメディアプロセッサ５０は、左抽出点（ＸＬ，ＹＬ）及び右抽出点（ＸＲ，ＹＲ）をそれぞれ（０，０）として、スクリーン座標に変換する。

次に、図２４のステップＳ２５のキャッチ判定処理の詳細を説明する。

図３２は、図２４のステップＳ２５におけるキャッチ判定処理の流れの一例を示すフローチャートである。図３２を参照して、ステップＳ３０１にて、マルチメディアプロセッサ５０は、左グリップトリガ及び右グリップトリガをオフにする。左グリップトリガは、入力状態でカーソル７０Ｌがターゲットまで移動し、非入力状態にされた場合（プレイヤが入力装置３Ｌを装着した左手を握り締めることに相当）にオンするフラグのことである。右グリップトリガは、入力状態でカーソル７０Ｒがターゲットまで移動し、非入力状態にされた場合（プレイヤが入力装置３Ｒを装着した右手を握り締めることに相当）にオンするフラグのことである。

ステップＳ３０３にて、マルチメディアプロセッサ５０は、左オープンフラグＯＬがオンからオフへ遷移したか否かを判断し、遷移した場合は、プレイヤが左手を握り締めたとみなしてステップＳ３０５に進み、それ以外はステップＳ３０９に進む。ステップＳ３０５では、マルチメディアプロセッサ５０は、直前の左抽出点がターゲット上に位置したか否かを判断し、位置した場合、ターゲットが握られたとみなしてステップＳ３０７に進む。ステップＳ３０７では、マルチメディアプロセッサ５０は、左グリップトリガをオンにする。

ステップＳ３０９では、マルチメディアプロセッサ５０は、右オープンフラグＯＲがオンからオフへ遷移したか否かを判断し、遷移した場合は、プレイヤが右手を握り締めたとみなしてステップＳ３１１に進み、それ以外はリターンする。ステップＳ３１１では、マルチメディアプロセッサ５０は、直前の右抽出点がターゲット上に位置したか否かを判断し、位置した場合、ターゲットが握られたとみなしてステップＳ３１３に進む。ステップＳ３１３では、マルチメディアプロセッサ５０は、右グリップトリガをオンにしてリターンする。

次に、図２４のステップＳ２７の映像制御処理の詳細を説明する。

図３３は、図２４のステップＳ２７における映像制御処理の流れの一例を示すフローチャートである。このフローチャートが示す処理は、図５、図７、図８、図９、図１０、図１１、図１２、及び図１６の各モードを実行する際の処理である。

図３３を参照して、ステップＳ３３１にて、マルチメディアプロセッサ５０は、左グリップトリガ及び右グリップトリガを参照して、該当するモードに応じて、ターゲットを適切に握る処理が行われたか否かを判定及び評価する。ステップＳ３３３にて、マルチメディアプロセッサ５０は、テレビジョンモニタ５に映し出された、あるいは、映し出すターゲットを制御（座標や画像データの設定等）する。ターゲットは、例えば、定位置オブジェクト１００及び１２０、ターゲット１１０、図９及び図１０の数字、蝶オブジェクト２９，３１及び３３、３７、感覚情報提示部３７Ｔ，３７Ｂ，３７Ｌ及び３７Ｒ、ボールオブジェクト７４Ｌ及び７４Ｒ、８４、パネル８６−１〜８６−５、ＯＫオブジェクト１０３、並びに方向ボタン１３０Ｌ及び１３０Ｒである。なお、ステップＳ３３１の結果に応じてターゲットに変化を与えることもできるし、ターゲットが握られたと判断した場合にターゲットに変化を与えることもできる。

ステップＳ３３５にて、マルチメディアプロセッサ５０は、スクリーン座標に変換された左抽出点（ＸＬ，ＹＬ）に対応する位置にカーソル７０Ｌの座標を設定し、スクリーン座標に変換された右抽出点（ＸＲ，ＹＲ）に対応する位置にカーソル７０Ｒの座標を設定する。また、マルチメディアプロセッサ５０は、左オープンフラグＯＬがオンの場合は、手の平を開いた形態のカーソル７０Ｌの画像データを設定し、左オープンフラグＯＬがオフの場合は、手を握り締めた形態のカーソル７０Ｌの画像データを設定する。さらに、マルチメディアプロセッサ５０は、右オープンフラグＯＲがオンの場合は、手の平を開いた形態のカーソル７０Ｒの画像データを設定し、右オープンフラグＯＲがオフの場合は、手を握り締めた形態のカーソル７０Ｒの画像データを設定する。

ステップＳ３３７にて、マルチメディアプロセッサ５０は、ステップＳ３３１の結果に従って、エフェクト画像を制御（座標や画像データの設定等）する。ステップＳ３３９にて、マルチメディアプロセッサ５０は、上記以外の画像を制御（座標や画像データの設定等）する。例えば、この制御の対象となる画像は、背景画像並びに画像１２２，１２４，１３，２７，３５，４１，３９及び９１等である。

さて、以上のように、本実施の形態によれば、ユーザは、手の平を開いた状態でカーソルを移動し、ターゲットに重ね、そして、手を握り締めて、再帰反射シートを隠すことにより、ターゲット及び／又はカーソルに変化を与えることができる。つまり、ユーザは、カーソルをターゲットまで動かし、手を握り締めることによって、ターゲット及び／又はカーソルに変化を与えることができる。従って、ユーザは、あたかもターゲットを握るかのような操作によって入力を与えることができる。

図３４は、図２４のステップＳ２７における映像制御処理の流れの他の例を示すフローチャートである。このフローチャートが示す処理は、図１４のモードを実行する際の処理である。また、この場合、図２４のステップＳ２５はスキップしてよい。

図３４を参照して、ステップＳ３５１にて、マルチメディアプロセッサ５０は、操作オブジェクト６３がボールオブジェクト（６５Ｒ，６５Ｂ，６５Ｙ及び６５Ｇ）に当ったか否かを判定する。ステップＳ３５３にて、マルチメディアプロセッサ５０は、左抽出点（ＸＬ，ＹＬ）及び右抽出点（ＸＲ，ＹＲ）に基づいて、操作オブジェクト６３の上下方向の位置及び傾きを算出して、操作オブジェクト６３の形態及び動きを制御（座標や画像データの設定等）する。

ステップＳ３５５にて、マルチメディアプロセッサ５０は、ボールオブジェクトの出現及び移動を制御（座標や画像データの設定等）する。この場合、ステップＳ３５１の判定結果を参照し、操作オブジェクト６３がボールオブジェクトに当った場合は、その時の操作オブジェクト６３の傾き及び速度に応じた方向及び速度で、ボールオブジェクトを移動する。

ステップＳ３５７にて、マルチメディアプロセッサ５０は、ステップＳ３５１の結果に基づいて、エフェクト画像を制御（座標や画像データの設定等）する。ステップＳ３５９にて、マルチメディアプロセッサ５０は、上記以外の画像を制御（座標や画像データの設定等）する。例えば、この制御の対象となる画像は、背景画像並びに画像７５Ｒ，７５Ｂ，７５Ｙ，７５Ｇ，６９Ｌ，６９Ｒ等である。

さて、以上のように、本実施の形態によれば、ユーザは、２個の入力装置３Ｌ及び３Ｒを動かすことによって、それらの位置関係に応じた形態に、操作オブジェクト６３を変化させることができる。また、ユーザは、２個の入力装置３Ｌ及び３Ｒを動かすことによって、操作オブジェクト６３に変化を与え、応じて、ボールオブジェクトに変化を与えることができる。

なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。

（１）透明体１７の透明には、半透明や有色透明が含まれる。

（２）上記では、入力装置３に、中指を通す例を挙げたが、挿入する指及びその数はこれに限定されない。

（３）入力装置の形状は、上記した入力装置３の形状に限定されない。また、プレイヤが負荷状態で手を動かすことができるように、入力装置の内部に、所定重量の重りを内蔵することもできる。

（４）入力装置３に、再帰反射シート１５のような反射部材を取り付ける代わりに、赤外発光ダイオードのような自発光装置を取り付けることもできる。この場合は、情報処理装置１には、赤外発光ダイオード９は不要である。また、入力装置を使用せずに、イメージセンサやＣＣＤなどの撮像装置により、被写体を撮影し、画像解析して、動きを検出することもできる。

（５）フラッシュキャッチモードに関連して、定位置オブジェクト１００の数及び配置は、図５のものに限定されない。また、定位置オブジェクト１００の表示をせずに、マーカだけを表示していくこともできる。さらに、カーソル７０Ｌ又は７０Ｒをターゲットに重ねただけで選択を確定することもできる。つまり、プレイヤは、入力状態でカーソル７０Ｌ及び７０Ｒを動かすだけでよく、非入力状態にすることが不要である。

（６）ボールエスケープモードに関連して、オブジェクト１０２の速さは、可変でも一定でもよい。また、オブジェクト１０２を定位置から出現させることもできる。

（７）ナンバーキャッチモードに関連して、ターゲット１１０には数字を付したが、順番があるものであれば、これに限定されない。例えば、アルファベットやカタカナ等を付すことができる。さらに、カーソル７０Ｌ又は７０Ｒをターゲット１１０に重ねただけで選択を確定することもできる。つまり、プレイヤは、入力状態でカーソル７０Ｌ及び７０Ｒを動かすだけでよく、非入力状態にすることが不要である。

（８）短期記憶モードに関連して、定位置オブジェクト１２０の数及び配置は、図８のものに限定されない。また、上述のように、マーカの様々な出現態様を採用できる。さらに、上記では、最後に出題されたマーカの位置を示すことをプレイヤに指示したが、最後に限らず、最後から二番目や最初など、任意の時期を指示できる。さらに、決定ボタン１２４を表示せずに、定位置オブジェクト１２０にカーソル７０Ｌ又は７０Ｒを移動させ非入力状態にするだけで選択を確定することもできる。さらに、定位置オブジェクト１２０にカーソル７０Ｌ又は７０Ｒを移動させるだけで、選択を確定することもできる。

（９）上記では、カーソル７０Ｌ及び７０Ｒ等のカーソルを定位置オブジェクト１００等のオブジェクトに重ね、さらに、非入力状態にすることにより、「握る」動作をプレイヤに行わせたが、単に、カーソルをオブジェクトに重ねるだけの操作を行わせることもできる。

（１０）上記では、片手ずつプレイを行わせるモードをいくつか例示したが、操作に連動する２つのカーソルを表示して、両手を使ってプレイを行わせるようにすることもできる。

（１１）蝶キャッチモードでは、蝶オブジェクト２９，３１及び３３を動き回らせたが、どのような形状及び形態のものを動き回らせるかは任意に設定できる。

（１２）バランスラインモードでは、移動オブジェクト６６Ｌ等及び受け皿オブジェクト７５Ｌ等に色を付して、その色を識別させたが、文字等をこれらに付して、文字等を識別させることもできる。また、それらの双方を記してもよい。さらに、ストループ効果を加えてもよい。

（１３）シャッフルメモリモードでは、記憶の対象を図形としたが、これに限定されず、数字、文字、色、及び図画等、任意のものを対象とすることができる。

本発明の実施の形態による練磨システムの全体構成を示すブロック図である。 図１の入力装置３Ｌ又は３Ｒの斜視図である。 図１の入力装置３Ｌ及び３Ｒをそれぞれ左右の手に装着した状態を示す図である。 図１の情報処理装置１の電気的構成を示す図である。 図１の練磨システムによるフラッシュキャッチモードでの練磨画面の例示図である。 図１の練磨システムによるボールエスケープモードでの練磨画面の例示図である。 図１の練磨システムによる第１のナンバーキャッチモードでの練磨画面の例示図である。 図１の練磨システムによる短期記憶モードでの練磨画面の例示図である。 図１の練磨システムによる第２のナンバーキャッチモードでの練磨画面の例示図である。 図１の練磨システムによる第３のナンバーキャッチモードでの練磨画面の例示図である。 図１の練磨システムによる蝶キャッチモードでの練磨画面の例示図である。 図１の練磨システムによるストループモードでの練磨画面の例示図である。 図１の練磨システムによるパネルエスケープモードでの練磨画面の例示図である。 図１の練磨システムによるバランスラインモードでの練磨画面の例示図である。 図１の練磨システムによるリズムボールモードでの練磨画面の例示図である。 図１の練磨システムによるシャッフルメモリモードでの練磨画面の例示図である。 図１の練磨システムによるモード選択画面の例示図である。 図１の練磨システムによる左右選択画面の例示図である。 図１の入力装置３Ｌ及び３Ｒの他の装着例を示す図である。 図１の入力装置３Ｌ及び３Ｒのさらに他の装着例を示す図である。 再帰反射シート１５Ｌ及び１５Ｒの検出処理の説明図である。 左右決定処理の説明図である。 図４のマルチメディアプロセッサ５０による全体処理の流れの一例を示すフローチャートである。 図２３のステップＳ３におけるアプリケーションプログラムによる処理の主要部分の流れの一例を示すフローチャートである。 図２４のステップＳ２１における撮影処理の流れの一例を示すフローチャートである。 図２４のステップＳ２３におけるシート検出処理の流れの一例を示すフローチャートである。 図２６のステップＳ６５における左右上下端検出処理の流れの一例を示すフローチャートである。 図２６のステップＳ６７における２点位置決定処理の流れの一例を示すフローチャートである。 図２６のステップＳ６９における左右決定処理の流れの一例を示すフローチャートである。 図２６のステップＳ７３における検出シート数決定処理の流れの一例を示すフローチャートである。 図２６のステップＳ７５における一点特定処理の流れの一例を示すフローチャートである。 図２４のステップＳ２５におけるキャッチ判定処理の流れの一例を示すフローチャートである。 図２４のステップＳ２７における映像制御処理の流れの一例を示すフローチャートである。 図２４のステップＳ２７における映像制御処理の流れの他の例を示すフローチャートである。

符号の説明

１…情報処理装置、３，３Ｌ，３Ｒ…入力装置、５…テレビジョンモニタ、９…赤外発光ダイオード、１５，１５Ｌ，１５Ｒ…再帰反射シート、１７，１７Ｌ，１７Ｒ…透明体、５０…マルチメディアプロセッサ、５２…外部メモリ，５４…イメージセンサ、５６…バス、７０Ｌ，７０Ｒ…カーソル、１００，１２０…定位置オブジェクト、１０２…オブジェクト、１０４…出射口オブジェクト、１０６…矢印オブジェクト、１１０…ターゲット、１２２…指示部、１２４…決定ボタン、１３０Ｌ，１３０Ｒ…方向ボタン、１３２…選択対象。

Claims (7)

1. 表示装置にターゲット画像を表示するステップと、
   前記表示装置にカーソルを表示するステップと、
   ユーザの手の平に装着された被写体を撮像するステップと、
   前記撮像によって得られた前記被写体の像に基づいて、前記被写体の動きを検出するステップと、
   前記検出された前記被写体の動きに応じて、前記カーソルを移動するステップと、
   前記カーソルが前記ターゲット画像に重なった直後に、前記被写体の像が得られなかった場合に、前記ターゲット画像及び／又は前記カーソルに所定の変化を与えるステップと、を含む入力方法。
2. 前記ターゲット画像は、任意の位置又は複数の所定位置のうちのいずれかの位置に、非表示の状態から出現する、請求項１記載の入力方法。
3. 前記ターゲット画像は、任意の位置又は所定位置に予め静止して表示される、請求項１記載の入力方法。
4. 前記ターゲット画像は、複数であり、複数の任意の位置又は複数の所定位置に予め静止して表示される、請求項１記載の入力方法。
5. 前記ターゲット画像は、移動する動画像である、請求項１記載の入力方法。
6. 表示装置に第１オブジェクトを表示するステップと、
   複数の被写体を撮像するステップと、
   前記撮像によって得られた前記複数の被写体の像に基づいて、前記複数の被写体の位置を検出するステップと、
   前記検出された前記複数の被写体の位置関係に応じて、前記第１オブジェクトの形態を変化させるステップと、を含む入力方法。
7. 前記表示装置に第２オブジェクトを表示するステップと、
   前記第１オブジェクトと前記第２オブジェクトとが所定の位置関係を満たした場合に、前記第２オブジェクトに変化を与えるステップと、をさらに含む請求項６記載の入力方法。