JP5325327B2 - ゲーム装置、詳細提示方法、および、プログラム - Google Patents
ゲーム装置、詳細提示方法、および、プログラム Download PDFInfo
- Publication number
- JP5325327B2 JP5325327B2 JP2012211063A JP2012211063A JP5325327B2 JP 5325327 B2 JP5325327 B2 JP 5325327B2 JP 2012211063 A JP2012211063 A JP 2012211063A JP 2012211063 A JP2012211063 A JP 2012211063A JP 5325327 B2 JP5325327 B2 JP 5325327B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- player
- sample
- similarity
- details
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000036544 posture Effects 0.000 claims description 321
- 230000010365 information processing Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 239000012141 concentrate Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/46—Computing the game score
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/61—Score computation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Description
例えば、ゲーム装置は、人間を模した見本キャラクタをゲーム画面に表示し、ゲーム中に再生される楽曲に応じた見本姿勢(ダンスの振り付け等)をとるように、見本キャラクタの画像を順次生成する。一方、プレイヤは、見本キャラクタによってなされる見本姿勢を見ながら、その姿勢を模倣して同じ振り付けでダンスを踊ろうとする。そして、ゲーム装置は、所定のセンサ(例えば、撮影したプレイヤ映像を画像認識するセンサ)等によりプレイヤの姿勢を検出しつつ見本姿勢と比較して、プレイヤが踊るダンスを評価する。
それでも、初心者等のプレイヤは、見本姿勢(見本キャラクタ)を目で追いながら、自らも同じ姿勢をとろうとすることで精一杯となり、見本姿勢を大まかにしか模倣できない場合が多い。
例えば、ある場面で見本キャラクタが、右手(右腕)を斜め上に挙げて、その手のひら(右掌)を反らし、更に、その指(各右指)を全てひらくといった見本姿勢を行っていたとしても、余裕のない初心者等のプレイヤは、その見本姿勢に対して、単に右手を挙げるだけの大まかな姿勢までしか模倣できない等である。
つまり、初心者等のプレイヤの姿勢は、挙げた右手の角度ですら異なっている場合が多く、その上、手のひらの反り、及び、指のひらきといった詳細に至っては、全く異なっているのが実情である。そのため、見本姿勢と大きく異なってしまい、高い評価が得られなかった。
しかしながら、余裕のない初心者等のプレイヤにそのような案内画像を表示してしまうと、そちらに注意が向いてしまい、見本姿勢の概略すら模倣できなくなるおそれもある。つまり、プレイヤの技量が低い状態では、表示される情報が多すぎて、かえって混乱してしまい、上達を妨げることにもなりかねない。
このように、プレイヤの技量が低い状態では、何らメッセージが提示されず、見本姿勢だけが表示される。そのため、プレイヤは、見本姿勢の模倣に専念する。やがて、プレイヤの技量が見本姿勢の概略を模倣できる程度に高まると、見本姿勢に加え、その詳細を気付かせるメッセージを表示する。そのため、プレイヤは、このメッセージを受けて、気付かなかった見本姿勢の詳細までも模倣しようとする。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
このように、プレイヤの技量が低い状態では、何ら補助画像が生成されず、見本姿勢に基づく見本キャラクタだけが生成されて表示される。そのため、プレイヤは、見本キャラクタの模倣に専念する。やがて、プレイヤの技量が見本キャラクタ(見本姿勢)の概略を模倣できる程度に高まると、その見本キャラクタに加え、類似していない見本姿勢の詳細を気付かせるための補助画像を生成する。そのため、プレイヤは、この補助画像により、気付かなかった見本姿勢の詳細までも模倣しようとする。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
補助画像生成部は、判定した当該概略類似度が所定値よりも高く、かつ、判定した詳細類似度が所定値よりも低い場合に、類似してない見本姿勢の詳細を気付かせるための補助画像を生成してもよい。
この構成によれば、見本姿勢とほぼ同じ姿勢をとることのできる熟練者にとっては不要な補助画像が無用に表示されてしまうことを回避できる。すなわち、熟練者は見本姿勢のうち、詳細な姿勢に至るまで模倣することができるが、その場合まで補助画像が表示されてしまうと、熟練者によってはその表示が煩わしいと感じられてしまう。しかし、上記のように、補助画像が作成される条件を、概略類似度が所定値よりも高く、かつ、詳細類似度が所定値よりも低い場合と限定することによって、初心者や楽曲に慣れていないプレイヤに対してのみ補助画像が表示されるので、ゲームへの熟練度に応じた適切な画像表示を行うことができる。
このように、プレイヤの技量が低い状態では、何らメッセージが提示されず、見本姿勢だけが表示される。そのため、プレイヤは、見本姿勢の模倣に専念する。やがて、プレイヤの技量が見本姿勢の概略を模倣できる程度に高まると、見本姿勢に加え、その詳細を気付かせるメッセージを表示する。そのため、プレイヤは、このメッセージを受けて、気付かなかった見本姿勢の詳細までも模倣しようとする。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
RGBカメラは、赤 (Red)、緑(Green)、青(Blue)の三つの原色にて被写体を撮影可能な撮像装置であり、例えば、撮影した画像から色差を利用してプレイヤだけを切り出すことが可能となっている。
また、深度センサは、例えば、パターン照射方式やTOF(Time Of Flight)方式により、プレイヤまでの距離(つまり、深度)を検出可能となっている。
そして、センサモジュール105は、RGBカメラにて撮影した画像と、深度センサにて検出した深度とに基づいて、例えば、プレイヤ(人体)の頭、腕、胴、及び、脚等の各部位を検出し、簡略化したプレイヤの骨格モデルを生成する。つまり、この骨格モデルからプレイヤの姿勢(現在の姿勢や一連の動き等)が検出可能となっている。
また、仮想三次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Zバッファ法によりレンダリングして、所定の視点位置から仮想三次元空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。
また、プレイヤからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。
図2は、本実施形態に係るゲーム装置200の概要構成を示す模式図である。このゲーム装置200は、音楽ゲームの一例としてダンスゲームを提供するものであり、プレイヤがすべき姿勢(行うべき動作)の詳細を適切に提示し、プレイヤの上達を促すことを特徴としている。
具体的にゲーム装置200は、人間を模した見本キャラクタをゲーム画面に表示し、演奏される楽曲に応じたダンス(手や足の振り付け等)をその見本キャラクタにとらせる。つまり、プレイヤがすべき見本姿勢(見本動作)を表示する。プレイヤは、この見本姿勢と同じ姿勢をとろう(同じダンスを踊ろう)とする。そして、ゲーム装置200は、実際のプレイヤの姿勢を検出し、見本姿勢と比較して、プレイヤのダンスを評価する。以下、このようなゲーム装置200について、本図を参照して説明する。
例えば、ゲーム情報記憶部210は、演奏可能な複数の楽曲データ、及び、各楽曲に応じた見本姿勢(姿勢情報)を記憶する。また、ゲームの表示に必要な見本キャラクタ等のオブジェクト情報(モデリングや画像等)も記憶する。
見本キャラクタは、ゲーム中において、プレイヤがすべき姿勢(演奏される楽曲に応じたダンス)を、見本姿勢に基づいて踊らせるものである。具体的に、ゲーム情報記憶部210は、図3に示すような見本姿勢(見本動作)を記憶する。つまり、見本姿勢には、一連の継続的な動きも含まれている。
図3に示す見本姿勢は、一例として、頭、腕、掌(指等も含む)、胴、及び、脚などの各部位からなる骨格モデルが、楽曲の進行(再生タイム)に応じて時系列に規定されている様子を示している。なお、発明の理解を容易にするために、この図3では、骨格モデルを視覚的に示しているが、実際には、各部位の位置や向き等を示す数値情報により規定されている。
このような見本姿勢に基づいて、後述するゲーム制御部220によって見本キャラクタが制御される。更に、この見本姿勢は、後述する判定部250によって、プレイヤの姿勢を判定するためにも使用される。
なお、上述したRAM 103等が、このようなゲーム情報記憶部210として機能しうる。
例えば、ゲーム制御部220は、楽曲を演奏しつつ、プレイヤが踊るべきダンスの見本姿勢(見本動作)を見本キャラクタにとらせる(踊らせる)。具体的にゲーム制御部220は、後述する画像生成部260を制御して、見本キャラクタの頭、腕、掌、胴、及び、脚などを、上述した図3の見本姿勢に基づいて移動(変位)させることで、踊っている見本キャラクタの画像を生成させる。つまり、楽曲の進行に応じて、見本キャラクタにより見本姿勢を順次表示させる。従って、見本姿勢には、一連の継続的な動きも含まれている。
なお、上述したCPU 101が、このようなゲーム制御部220として機能しうる。
例えば、楽曲音出力部230は、ゲーム開始前(プレイ前)に、プレイヤによって選曲された楽曲データをゲーム情報記憶部210から読み出しておき、ゲーム開始後(プレイ中)に、この楽曲データを再生して楽曲音を出力する。
なお、楽曲の再生手法はこれに限られず任意である。例えば、楽曲データを、プレイ中に順次読み出しながら再生するようにしてもよい。
なお、上述した音声処理部109が、このような楽曲音出力部230として機能しうる。
例えば、姿勢検出部240は、プレイヤを撮影してその映像を画像認識等することにより、プレイヤの姿勢を検出する。
具体的に姿勢検出部240は、図4(a)に示すようなプレイヤの映像(撮影画像)について、頭、腕、掌(指等も含む)、胴、及び、脚等の各部位を画像解析により認識する。そして、その解析(画像認識)を基に、図4(b)に示すような骨格モデルを生成し、プレイヤの姿勢を検出する。姿勢検出部240は、ゲーム中において、このようなプレイヤの姿勢の検出(骨格モデルの生成)を、例えば、1/60秒ごとに順次行う。
なお、プレイヤの姿勢を検出する手法は、このようなプレイヤ画像を解析(画像認識)するやり方に限られず、ゲーム装置200の実際の構成に応じて適宜変更可能である。
例えば、プレイヤの腕(両手)の姿勢だけを検出する場合では、プレイヤが所定のコントローラをそれぞれ両手に持って踊るようにし、そのコントローラを介してプレイヤの姿勢(腕の姿勢)を検出するようにしてもよい。その際、コントローラから位置や加速度等の情報を得ることにより、腕の姿勢を検出してもよく、また、コントローラの一部を発光させ、その映像を画像認識等することにより、腕の姿勢を検出してもよい。
なお、上述したセンサモジュール105等が、このような姿勢検出部240として機能しうる。
例えば、判定部250は、姿勢検出部240が検出したプレイヤの姿勢と、ゲーム情報記憶部210に記憶される見本姿勢(楽曲の進行に応じた見本姿勢)とを比較して類似度を判定する。
すなわち、判定部250は、プレイヤから得た骨格モデル(プレイヤの姿勢)と、楽曲の再生タイムに応じた骨格モデル(現在の見本姿勢)とを適宜比較して、類似度を判定する。その際、判定部250は、概略的な類似度(概略類似度)と、詳細な類似度(詳細類似度)とを判定する。
まず、判定部250は、図5(b)に示すような骨格モデル(見本姿勢)の腕部と脚部をそれぞれ所定形状(一例として矩形)にて囲った概略姿勢と、プレイヤの姿勢とを比較して、概略類似度を判定する。この概略姿勢には、右腕の概略姿勢RA、左腕の概略姿勢LA、右脚の概略姿勢RF、及び、左脚の概略姿勢LFというように、それぞれある程度の幅を持たせており、プレイヤの姿勢と比較した際に、概略的な類似度が判定される。そのため、例えば上述した図4(b)に示すような骨格モデル(プレイヤの姿勢)と比較した際に、両者とも右腕が挙がっており、その角度も幅の範囲内であることから、概略類似度が高い(所定の規定値よりも高い)と判定される。
更に、判定部250は、図5(c)に示すような骨格モデルの詳細姿勢(一例として、右肘RE、右掌RP、及び、各右指RFS)と、プレイヤの姿勢とを比較して、詳細類似度を判定する。つまり、右掌RPと各右指RFSの位置関係から右掌の反り、そして、各右指RFSの位置関係から各右指のひらきについて、プレイヤの姿勢と比較され、詳細な類似度が判定される。そのため、例えば図4(b)に示すような骨格モデル(プレイヤの姿勢)と比較した際に、右掌のそり、及び、各右手の指のひらきが異なることから、詳細類似度が低い(所定の規定値よりも低い)と判定される。
なお、上述したCPU 101が、このような判定部250として機能しうる。
例えば、画像生成部260は、プレイヤがすべき見本姿勢(見本動作)を表す見本キャラクタを含んだゲーム画像を生成する。
具体的に、詳細に画像生成部260は、キャラクタ画像生成部261及び、補助画像生成部262を含んでおり、一例として、図6に示すようなゲーム画像を生成する。
キャラクタ画像生成部261は、ゲーム情報記憶部210に記憶される上述した図3に示すような見本姿勢に基づいて動くキャラクタ画像を生成する。つまり、見本キャラクタの頭、腕、掌、胴、及び、脚などを、図3の骨格モデルに沿うように移動(変位)させることで、図6(a)に示すダンスを踊る見本キャラクタの画像を生成させる。
なお、このようなメッセージ(補助画像)を表示する代わりに、若しくは、メッセージの表示に加えて、音声にて同メッセージを発してもよい。具体的には、上述した楽曲出力部230が、類似していない見本姿勢の詳細を気付かせるためのメッセージを音声にて出力するようにしてもよい。すなわち、このようなメッセージの提示手法は、画像又は音声のいずれか、若しくは、画像及び音声というように、適宜変更可能である。
また、補助画像生成部262が生成する補助画像の内容についても、適宜変更可能である。例えば、補助画像生成部262は、図7(a)に示すように、類似していない部位(この例の場合、右手の指)を拡大表示させた補助画像HGを生成してもよく、また、7(b)に示すように、類似していない部位(この例の場合、右手の指)を強調表示させた補助画像HGを生成してもよい。すなわち、これらの補助画像HGは、一例であり、類似していない見本姿勢の詳細を気付かせるために、表示形態を適宜変更可能である。
この他にも、画像生成部260は、ゲームの進行に応じて集計される得点や、残りライフ値等を示す画像も表示する。
なお、上述した画像処理部108が、このような画像生成部260(キャラクタ画像生成部261及び、補助画像生成部262)として機能しうる。
以下、このような構成のゲーム装置200の動作について図面を参照して説明する。図8は、ゲーム装置200が実行するゲーム制御処理の流れを示すフローチャートである。このゲーム制御処理は、例えば、プレイヤにより演奏する楽曲が選択された後に開始される。
すなわち、楽曲音出力部230は、プレイヤにて選択された楽曲データをゲーム情報記憶部210から読み出して演奏を開始する。
すなわち、キャラクタ画像生成部261は、踊る見本キャラクタの画像を生成し、プレイヤがすべき見本姿勢を表示する。つまり、ゲーム情報記憶部210に記憶される上述した図3に示すような見本姿勢に基づいて踊るキャラクタ画像を生成する。
具体的にキャラクタ画像生成部261は、見本キャラクタの頭、腕、掌、胴、及び、脚などを、図3の骨格モデルに沿うように移動(変位)させることで、上述した図6(a)等に示すダンスを踊る見本キャラクタの画像を生成させる。
すなわち、姿勢取得部240は、プレイヤを撮影してその映像を画像認識等することにより、プレイヤの姿勢を検出する。
具体的に姿勢検出部240は、上述した図4(a)に示すようなプレイヤの映像(撮影画像)について、頭、腕、掌(指等も含む)、胴、及び、脚等の各部位を画像解析により認識する。そして、その解析(画像認識)を基に、上述した図4(b)に示すような骨格モデルを生成し、プレイヤの姿勢を検出する。
すなわち、判定部250は、検出したプレイヤの姿勢と、見本姿勢(楽曲の進行に応じた見本姿勢)とを比較して類似度を判定する。つまり、プレイヤがどれだけ見本姿勢に似せて(模倣して)、ダンスを踊っているのかを判定する。
具体的に判定部250は、プレイヤから得た骨格モデル(プレイヤの姿勢)と、楽曲の再生タイムに応じた骨格モデル(現在の見本姿勢)とを適宜比較して、類似度を判定する。その際、判定部250は、概略的な類似度(概略類似度)と、詳細な類似度(詳細類似度)とを判定する。
例えば、判定部250は、上述した図5(b)に示すような骨格モデル(見本姿勢)の腕部と脚部をそれぞれ所定形状(一例として矩形)にて囲った概略姿勢と、プレイヤの姿勢とを比較して、概略類似度を判定する。
更に、判定部250は、上述した図5(c)に示すような骨格モデルの詳細姿勢(一例として、右肘RE、右掌RP、及び、各右指RFS)と、プレイヤの姿勢とを比較して、詳細類似度を判定する。
ゲーム装置200は、類似度が所定値より高くないと判別すると(ステップS305;No)、後述するステップS307に処理を進める。
なお、概略類似度が所定値よりも高い場合であっても、上述した詳細類似度が所定値よりも高く、プレイヤに指摘する内容がない場合には、後述するステップS307に処理を進めるようにする。つまり、概略類似度が所定値よりも高く、かつ、詳細類似度が所定値よりも低い場合に限って、類似していない見本姿勢の詳細をプレイヤに気付かせる必要があるため、以下のステップS306を続けるものとする。
すなわち、補助画像生成部262は、類似していない見本姿勢の詳細を気付かせるための補助画像を生成する。具体的には、上述した図6(b)や、図7(a),(b)に示すような補助画像HGを生成する。
ゲーム装置200は、ゲームが終了していないと判別すると(ステップS308;No)、上述したステップS302に処理を戻す。そして、ステップS302〜S308の処理を繰り返し実行する。
一方、ゲームが終了したと判別した場合(ステップS308;Yes)に、ゲーム装置200は、所定の終了メッセージや総合得点等を表示した後、ゲーム制御処理を終える。
このように、プレイヤの技量が低い状態では、何ら補助画像が表示されず、見本キャラクタによる見本姿勢だけが表示される。そのため、プレイヤは、その見本姿勢の模倣に専念する。やがて、プレイヤの技量が見本姿勢の概略を模倣できる程度に高まると、見本キャラクタに加え、類似していない見本姿勢の詳細を気付かせるための補助画像が表示される。そのため、プレイヤは、この補助画像により、気付かなかった見本姿勢の詳細までも模倣しようとする。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
上記の実施形態では、見本姿勢の詳細を気付かせるために、見本キャラクタの部位等を示す補助画像を生成する場合について説明したが、検出したプレイヤの姿勢を見本キャラクタと比較できるような補助画像を生成してもよい。
例えば、補助画像生成部262は、姿勢検出部240が検出したプレイヤの姿勢(骨格モデル)を基に、見本キャラクタとは別のキャラクタにて補助画像を生成し、その際、類似していない見本姿勢の詳細を気付かせるために、その箇所(部位)をより誇張する。
具体的に補助画像生成部262は、図9に示すように、見本キャラクタMCの隣に、プレイヤの姿勢に基づく補助画像HG(別のキャラクタ)を生成する。この例の場合でも、類似していない部位として、拳を固めた(右指を結んだ)様子を誇張した補助画像HGを生成している。
このような誇張した補助画像HGにより、類似していない見本姿勢の詳細をプレイヤに気付かせることができる。
以下、ヨガを教授するゲーム(ヨガのレッスンゲーム)を一例として、静止した見本姿勢をプレイヤが模倣するゲームについて説明する。
ゲーム情報記憶部210は、プレイヤがすべきヨガのポーズを示す見本姿勢(静止した見本姿勢)を複数記憶する。また、ゲーム情報記憶部210は、各見本姿勢(各ポーズ)に応じて定められた継続時間も記憶している。つまり、ヨガのレッスンゲームでは、プレイヤがヨガのポーズ(静止したポーズ)を長時間(例えば、数分間)に亘って継続することが規定されているため、ゲーム情報記憶部210には、その継続時間を見本姿勢に対応付けて記憶されている。
そして、キャラクタ画像生成部261は、ゲーム情報記憶部210に記憶される見本姿勢に基づいてヨガのポーズを示すキャラクタ画像を生成する。なお、キャラクタ画像生成部261は、ゲーム情報記憶部210に記憶される継続時間(見本姿勢に対応する継続時間)が経過すると、次の見本姿勢に基づいてキャラクタ画像を生成する。
この判定により、概略類似度が所定値よりも高く、かつ、詳細類似度が所定値よりも低い場合に、補助画像生成部262は、類似していない見本姿勢の詳細を気付かせるための補助画像を生成する。
具体的に、プレイヤが初見のポーズ(基本姿勢)を模倣する際には、当初、見本姿勢を大まかにしか模倣できない場合が多い。そのため、判定部250により判定される類似度が低くなり、補助画像生成部262は補助画像を生成しない。つまり、何ら補助画像が表示されず、見本キャラクタによる見本姿勢だけが表示される。そのため、プレイヤは、その見本姿勢の模倣に専念する。
やがて、プレイヤがその見本姿勢の概略まで模倣できるようになると、判定部250により判定される類似度が高くなって行き、所定値を超えるようになる(概略類似度だけが所定値よりも高いと判定される)。その際、補助画像生成部262は、補助画像を生成する。つまり、見本キャラクタに加え、類似していない見本姿勢の詳細を気付かせるための補助画像が表示される。そのため、プレイヤは、この補助画像により、気付かなかった見本姿勢の詳細までも模倣しようとする。
なお、プレイヤが同じポーズを維持しているつもりでも、疲れ等によりプレイヤの姿勢が多少崩れる場合も生じ得る。その場合、判定部250によって、詳細類似度が所定値よりも低いと判定され、再び、補助画像生成部262が、補助画像を生成する。つまり、崩れたプレイヤの姿勢(見本姿勢の詳細)を気付かせるための補助画像が表示される。
このように、静止した見本姿勢をプレイヤが模倣するレッスンゲームでは、プレイヤの姿勢を繰り返し判定し、必要に応じて補助画像が表示される。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
以下、見本姿勢の詳細を気付かせるために、音声メッセージを出力することを特徴とするゲーム装置300について図10を参照して説明する。図10は、他の実施形態に係るゲーム装置300の概要構成を示す模式図である。なお、ゲーム装置300がダンスゲームを実行する場合を一例として説明する。
なお、ゲーム情報記憶部210〜判定部250は、上述した図2のゲーム装置200と同様の構成となっている。
すなわち、表示制御部370は、プレイヤがすべき見本姿勢を表す見本キャラクタを含んだゲーム画像を生成する。具体的に表示制御部370は、上述した図6(a)に示すような見本キャラクタMCを含むゲーム画像を生成する。
このように、プレイヤの技量が低い状態では、何らメッセージが提示されず、見本姿勢だけが表示される。そのため、プレイヤは、見本姿勢の模倣に専念する。やがて、プレイヤの技量が見本姿勢の概略を模倣できる程度に高まると、見本姿勢に加え、その詳細を気付かせるメッセージを提示する。そのため、プレイヤは、このメッセージを受けて、気付かなかった見本姿勢の詳細までも模倣しようとする。
この結果、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
この場合も、プレイヤがすべき姿勢の詳細を適切に提示し、プレイヤの上達を促すことができる。
101 CPU
102 ROM
103 RAM
104 インターフェース
105 センサモジュール
106 外部メモリ
107 DVD−ROMドライブ
108 画像処理部
109 音声処理部
110 NIC
200,300 ゲーム装置
210 ゲーム情報記憶部
220 ゲーム制御部
230 楽曲音出力部
240 姿勢検出部
250 判定部
260 画像生成部
370 表示制御部
380 提示部
Claims (6)
- プレイヤがすべき姿勢を示す見本姿勢を画面に表示する表示制御部と、
表示した当該見本姿勢に対応してなされるプレイヤの姿勢を検出する検出部と、
検出した当該プレイヤの姿勢と、表示した当該見本姿勢との類似度を判定する判定部と、
判定した当該類似度が所定値よりも高い場合に、表示した当該見本姿勢の詳細を気付かせるメッセージを提示する提示部と、を備え、
前記判定部は、見本姿勢の概略とプレイヤの姿勢との間の概略類似度、及び、見本姿勢の詳細とプレイヤの姿勢との間の詳細類似度をそれぞれ判定し、
前記提示部は、判定した当該概略類似度が所定値よりも高く、かつ、判定した詳細類似度が所定値よりも低い場合に、類似してない見本姿勢の詳細を気付かせるためのメッセージを提示する、
ことを特徴とするゲーム装置。 - 生成した画像を画面に表示し、対応してなされるプレイヤの姿勢を評価するゲーム装置であって、
プレイヤがすべき姿勢を規定する見本姿勢を記憶する記憶部と、
記憶される当該見本姿勢に基づくキャラクタ画像を生成するキャラクタ画像生成部と、
生成した当該キャラクタ画像に対応してなされるプレイヤの姿勢を検出する検出部と、
検出した当該プレイヤの姿勢と、記憶される当該見本姿勢との類似度を判定する判定部と、
判定した当該類似度が所定値よりも高い場合に、類似してない見本姿勢の詳細を気付かせるための補助画像を生成する補助画像生成部と、を備え、
前記判定部は、見本姿勢の概略とプレイヤの姿勢との間の概略類似度、及び、見本姿勢の詳細とプレイヤの姿勢との間の詳細類似度をそれぞれ判定し、
前記補助画像生成部は、判定した当該概略類似度が所定値よりも高く、かつ、判定した詳細類似度が所定値よりも低い場合に、類似してない見本姿勢の詳細を気付かせるための補助画像を生成する、
ことを特徴とするゲーム装置。 - 請求項2に記載のゲーム装置であって、
前記補助画像生成部は、類似してない見本姿勢の詳細に該当するキャラクタ画像の部位に対応して、当該部位の表示形態を変化させた補助画像を生成する、
ことを特徴とするゲーム装置。 - 請求項2に記載のゲーム装置であって、
前記補助画像生成部は、検出部が検出したプレイヤの姿勢に基づく補助画像を生成する際に、類似してない見本姿勢の詳細に対応する部位を誇張して補助画像を生成する、
ことを特徴とするゲーム装置。 - 表示制御部、検出部、判定部、及び、提示部を有するゲーム装置が実行する詳細提示方法であって、
前記表示制御部が、プレイヤがすべき姿勢を示す見本姿勢を画面に表示する表示制御工程と、
前記検出部が、表示した当該見本姿勢に対応してなされるプレイヤの姿勢を検出する検出工程と、
前記判定部が、検出した当該プレイヤの姿勢と、表示した当該見本姿勢との類似度を判定する判定工程と、
前記提示部が、判定した当該類似度が所定値よりも高い場合に、表示した当該見本姿勢の詳細を気付かせるメッセージを提示する提示工程と、を備え、
前記判定工程では、見本姿勢の概略とプレイヤの姿勢との間の概略類似度、及び、見本姿勢の詳細とプレイヤの姿勢との間の詳細類似度をそれぞれ判定し、
前記提示工程では、判定した当該概略類似度が所定値よりも高く、かつ、判定した詳細類似度が所定値よりも低い場合に、類似してない見本姿勢の詳細を気付かせるためのメッセージを提示する、
ことを特徴とする詳細提示方法。 - コンピュータを、
プレイヤがすべき姿勢を示す見本姿勢を画面に表示する表示制御部、
表示した当該見本姿勢に対応してなされるプレイヤの姿勢を検出する検出部、
検出した当該プレイヤの姿勢と、表示した当該見本姿勢との類似度を判定する判定部、
判定した当該類似度が所定値よりも高い場合に、表示した当該見本姿勢の詳細を気付かせるメッセージを提示する提示部、として機能させ、
前記判定部は、見本姿勢の概略とプレイヤの姿勢との間の概略類似度、及び、見本姿勢の詳細とプレイヤの姿勢との間の詳細類似度をそれぞれ判定し、
前記提示部は、判定した当該概略類似度が所定値よりも高く、かつ、判定した詳細類似度が所定値よりも低い場合に、類似してない見本姿勢の詳細を気付かせるためのメッセージを提示する、
ように機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012211063A JP5325327B2 (ja) | 2011-11-04 | 2012-09-25 | ゲーム装置、詳細提示方法、および、プログラム |
PCT/JP2012/076234 WO2013065461A1 (ja) | 2011-11-04 | 2012-10-10 | ゲーム装置、詳細提示方法、情報記録媒体、および、プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011242136 | 2011-11-04 | ||
JP2011242136 | 2011-11-04 | ||
JP2012211063A JP5325327B2 (ja) | 2011-11-04 | 2012-09-25 | ゲーム装置、詳細提示方法、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013116311A JP2013116311A (ja) | 2013-06-13 |
JP5325327B2 true JP5325327B2 (ja) | 2013-10-23 |
Family
ID=48191819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012211063A Active JP5325327B2 (ja) | 2011-11-04 | 2012-09-25 | ゲーム装置、詳細提示方法、および、プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5325327B2 (ja) |
WO (1) | WO2013065461A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6082101B2 (ja) * | 2013-04-02 | 2017-02-15 | Necソリューションイノベータ株式会社 | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 |
JP6313003B2 (ja) * | 2013-09-18 | 2018-04-18 | 日本コントロールシステム株式会社 | カラオケ装置、画像出力方法、およびプログラム |
JP2015130070A (ja) | 2014-01-07 | 2015-07-16 | 富士通株式会社 | 検出プログラム、検出方法および検出装置 |
CN104281265B (zh) * | 2014-10-14 | 2017-06-16 | 京东方科技集团股份有限公司 | 一种应用程序的控制方法、装置及电子设备 |
JP6944144B2 (ja) * | 2014-12-25 | 2021-10-06 | 住友ゴム工業株式会社 | スイング解析装置、方法及びプログラム |
JP6496172B2 (ja) | 2015-03-31 | 2019-04-03 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
JP6535699B2 (ja) * | 2017-05-19 | 2019-06-26 | 株式会社コロプラ | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP6461394B1 (ja) * | 2018-02-14 | 2019-01-30 | 株式会社 ディー・エヌ・エー | 画像生成装置及び画像生成プログラム |
JP7008342B2 (ja) * | 2019-03-05 | 2022-01-25 | 株式会社Sportip | 運動評価システム |
CN114303142A (zh) * | 2019-08-29 | 2022-04-08 | 西铁城时计株式会社 | 影像生成装置 |
JP2022039120A (ja) * | 2020-08-27 | 2022-03-10 | 株式会社Jvcケンウッド | 端末装置、及びフォーム改善支援方法 |
JP7493720B2 (ja) | 2020-11-24 | 2024-06-03 | 日本電信電話株式会社 | 適応能力評価装置、適応能力評価方法及び適応能力評価プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005230068A (ja) * | 2004-02-17 | 2005-09-02 | Hokuriyou Denko Kk | 運動支援方法と、その装置 |
JP2009213782A (ja) * | 2008-03-12 | 2009-09-24 | Xing Inc | 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム |
JP2011062352A (ja) * | 2009-09-17 | 2011-03-31 | Koki Hashimoto | 運動モーション教示装置および遊戯施設 |
JP4928624B2 (ja) * | 2010-08-20 | 2012-05-09 | 株式会社バンダイナムコゲームス | ゲーム装置及び情報記憶媒体 |
-
2012
- 2012-09-25 JP JP2012211063A patent/JP5325327B2/ja active Active
- 2012-10-10 WO PCT/JP2012/076234 patent/WO2013065461A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2013065461A1 (ja) | 2013-05-10 |
JP2013116311A (ja) | 2013-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5325327B2 (ja) | ゲーム装置、詳細提示方法、および、プログラム | |
JP5632474B2 (ja) | ユーザーから学習した入力を介し視覚表示を実写のようにする方法及びシステム | |
TWI377055B (en) | Interactive rehabilitation method and system for upper and lower extremities | |
JP3963927B1 (ja) | ゲームシステム、ゲーム制御方法、ならびに、プログラム | |
JP5406883B2 (ja) | ゲーム装置、ゲーム制御方法、ならびに、プログラム | |
JP4410284B2 (ja) | ゲーム装置、ゲーム制御方法、ならびに、プログラム | |
US8408999B2 (en) | Game apparatus, game processing method, and information recording medium | |
US20100120537A1 (en) | Game Device, Game Processing Method, Information Recording Medium, and Program | |
JP5325265B2 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
JP5502026B2 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
Bastos et al. | Assessing the experience of immersion in electronic games | |
JP5502043B2 (ja) | ゲーム装置、および、プログラム | |
JP6032710B2 (ja) | シミュレーション装置及びプログラム | |
JP2011239937A (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
JP5238756B2 (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
KR102495213B1 (ko) | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 | |
JP2012055637A (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
JP2011239936A (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
US20130045801A1 (en) | Game apparatus, control method for game apparatus, information recording medium, and program | |
JP2021090634A (ja) | プログラム、端末、ゲームシステム及びゲーム管理サーバ | |
JP5499001B2 (ja) | ゲーム装置、ならびに、プログラム | |
JP5100862B1 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
JP2003053030A (ja) | ゲーム用情報処理システム | |
JP5238764B2 (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
JP5535168B2 (ja) | ゲーム装置、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5325327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |