JP2010061545A - 画像処理プログラムおよび画像処理装置 - Google Patents

画像処理プログラムおよび画像処理装置 Download PDF

Info

Publication number
JP2010061545A
JP2010061545A JP2008228608A JP2008228608A JP2010061545A JP 2010061545 A JP2010061545 A JP 2010061545A JP 2008228608 A JP2008228608 A JP 2008228608A JP 2008228608 A JP2008228608 A JP 2008228608A JP 2010061545 A JP2010061545 A JP 2010061545A
Authority
JP
Japan
Prior art keywords
distance
data
virtual camera
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008228608A
Other languages
English (en)
Other versions
JP5376874B2 (ja
Inventor
Keizo Ota
敬三 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2008228608A priority Critical patent/JP5376874B2/ja
Priority to EP08022576A priority patent/EP2161690A1/en
Priority to US12/352,716 priority patent/US8223120B2/en
Publication of JP2010061545A publication Critical patent/JP2010061545A/ja
Priority to US13/350,183 priority patent/US8284158B2/en
Application granted granted Critical
Publication of JP5376874B2 publication Critical patent/JP5376874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】より現実感の高い表現ができる画像処理プログラムおよび画像処理装置を提供すること。
【解決手段】まず、表示装置の画面の大きさまたは当該画面上において仮想空間の画像が表示される領域の大きさを示す表示領域サイズデータを取得する。更に、ユーザの位置と表示装置との間の距離を示す距離データを取得する。そして、表示領域サイズデータおよび距離データに基づいて、仮想空間内における仮想カメラの位置および視野角を設定決定する。
【選択図】図14

Description

本発明は、仮想カメラで撮影した仮想空間の画像を表示装置に出力する画像処理装置のコンピュータに実行させる画像処理プログラムに関し、より特定的には、仮想空間内における仮想カメラの設定に関する。
従来より、仮想カメラで仮想空間内のオブジェクトを撮影して表示装置の画面に表示するゲーム装置がある(例えば、特許文献1、特許文献2)。上記特許文献1に開示されているゲーム装置では、ゲーム空間内の複数のオブジェクトを内包する判定用バウンダリボックスを求め、その時点での仮想カメラの設定で当該判定用バウンダリボックスが画面内に入るか否かを判断し、当該仮想カメラの設定では判定用バウンダリボックスが画面内に入らない場合には、判定用バウンダリボックスが画面内に入るように仮想カメラの位置、向き、画角の少なくともひとつの設定を変更する処理を行う。
また、上記特許文献2に開示されているゲーム装置では、自キャラクタの位置から予め定めた距離範囲内に敵キャラクタが存在する場合には、仮想カメラ制御手段によって、敵キャラクタを追尾し、かつ、自キャラクタが視界に存在するように、敵オブジェクトおよびプレイヤオブジェクトの位置、方向に基づいて、仮想カメラの位置、方向を求める演算を行う。そして、仮想カメラを設定し、仮想カメラから見た視界画像を生成する。
特開2002−163676号公報 特開2001−149643号公報
しかしながら、上述したようなゲーム装置においては、従来から以下に示す問題点があった。上記各特許文献に開示されている処理では、仮想カメラの位置や画角は、仮想空間内のオブジェクトの位置等を基準に設定されている。つまり、所定のオブジェクト、例えば、プレイヤオブジェクトと敵オブジェクトの双方が共に1画面内に収まって表示されるように、仮想カメラの位置等が決定されている。例えば、3つの立方体モデルを仮想カメラで撮影した画像を表示するような場合を想定する。まず、仮想空間と実空間とのスケールは同じもの(実空間における立方体の大きさと仮想空間における立方体モデルの大きさの比率が1:1の関係)とする。そして、図18(a)に示すように、3つの立方体全てが画面内に表示されるように仮想カメラの位置や画角が設定されたとする。図18(a)では、立方体から仮想カメラまでの距離を1mとする。その結果、画面には、図18(b)に示すように、3つの立方体全てが表示されることになる。
一方、実空間上において、画面を表示するテレビとプレイヤとの距離が図19に示すような関係とする。図19では、テレビとプレイヤとの距離は3mとする。そして、実空間上において、上記立方体が本当に存在すると仮定する。いわば、テレビの画面を「窓」ととらえ、この窓のすぐ後ろに上記3つの立方体が本当に存在すると仮定する。すなわち、上記立方体が現実に存在すると仮定した場合のプレイヤとテレビと立方体の位置関係が図20に示すような関係にあるとする。この場合、プレイヤが窓(テレビ)を通して見える領域(視野角)は、図20の破線901で示される領域となる。そのため、領域902については本来はプレイヤからは見えない領域である。すなわち、本来は、プレイヤからは、窓(テレビ)の後ろの立方体は真ん中の1つしか見えないことになる。
しかし、図20のような位置関係であっても、画面上には、図18(b)に示したように3つの立方体が表示される(つまり、窓の中に3つの立方体が見えているような状態となる)。図20に示すようなプレイヤの位置からでも、このように3つの立方体が1画面上に収まって見えるのは、上記立方体が実空間に実在していれば見えるであろう画像に比べて、不自然に歪められて表示されているためである。そのため、実空間上、テレビの奥に上記3つの立方体が本当に存在すると仮定した場合、プレイヤの位置から見える画像としては、不自然な表現の画像となっている。このような不自然な画像は、プレイヤに違和感を感じさせて、現実感の乏しいものとなっていた。
それ故に、本発明の目的は、より現実感の高い表現ができる画像処理プログラムおよび画像処理装置を提供することである。
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係の一例を示したものであって、本発明を何ら限定するものではない。
第1の発明は、仮想カメラで撮影した仮想空間の画像を表示装置(2)に出力する画像処理装置のコンピュータに実行させる画像処理プログラムであって、コンピュータを、表示領域サイズ取得手段(S1)と、距離取得手段(S5)と、仮想カメラ設定手段(S6〜S8)として機能させる。表示領域サイズ取得手段は、表示装置の画面の大きさまたは当該画面上において仮想空間の画像が表示される領域の大きさを示す表示領域サイズデータを取得する。距離取得手段は、ユーザと表示装置との間の距離を示す距離データを取得する。仮想カメラ設定手段は、表示領域サイズデータおよび距離データに基づいて、仮想空間内における仮想カメラの位置および視野角を設定する。
第1の発明によれば、表示装置に表示される仮想空間の画像について、プレイヤの位置から見える画像としては不自然な表示になることを防ぐ事ができる。その結果、表示されている仮想空間があたかも表示装置の存在する位置(あるいは表示装置の中)に実在しているかのような、より現実感の高い表現が可能となる。これにより、ユーザに感じさせる違和感を軽減させることができる。
第2の発明は、第1の発明において、表示領域サイズデータには、表示装置の画面または当該画面上における仮想空間の画像が表示される領域内での所定の第1方向および当該第1方向に直交する第2方向の幅を示すデータが含まれる。そして、仮想カメラ設定手段は、表示領域サイズデータに含まれる第1方向および第2方向の幅に基づき、仮想カメラの水平視野角および垂直視野角を設定する。
第2の発明によれば、仮想空間の画像が表示される領域の画面上における縦幅や横幅に基づいて仮想カメラの水平視野角と垂直視野角を決定するため、より現実感の高い画像を表示することができる。
第3の発明は、第1の発明において、表示領域サイズデータには、表示装置の画面または当該画面上における仮想空間の画像が表示される領域内での所定の第1方向または当該第1方向に直交する第2方向の幅を示すデータが含まれる。そして、仮想カメラ設定手段は、表示領域サイズデータに含まれる第1方向または第2方向の幅に基づき、仮想カメラの水平視野角および垂直視野角を設定する。
第3の発明によれば、仮想空間の画像が表示される領域の画面上における縦幅または横幅に基づいて仮想カメラの水平視野角および垂直視野角を決定するため、より現実感の高い画像を表示することができる。
第4の発明は、第2または第3の発明において、仮想カメラ設定手段は、第1方向および/または第2方向の幅が大きいほど仮想カメラの水平視野角および/または垂直視野角を広く設定する。
第4の発明によれば、表示装置の画面または仮想空間の画像が表示される領域の大きさに合わせて仮想カメラの視野角を調整することができ、より現実感の高い画像を表示することができる。
第5の発明は、第2または第3の発明において、仮想カメラ設定手段は、距離データで示される距離が大きいほど水平視野角および/または垂直視野角を狭く設定する。
第5の発明によれば、ユーザ自身が移動することで表示装置との距離が変化しても、その距離に応じた現実感の高い画像表示が可能となる。
第6の発明は、第1の発明において、仮想カメラ設定手段は、表示装置の画面または当該画面上における仮想空間の画像が表示される領域が大きいほど仮想カメラの視野角を広く設定する。
第6の発明によれば、表示装置の画面または仮想空間の画像が表示される領域の大きさに合わせて仮想カメラの視野角を調整することができ、より現実感の高い画像を表示することができる。
第7の発明は、第1の発明において、仮想カメラ設定手段は、距離データで示される距離が大きいほど視野角を狭く設定する。
第7の発明によれば、ユーザ自身が移動することで表示装置との距離が変化しても、その距離に応じた現実感の高い画像表示が可能となる。
第8の発明は、第1の発明において、距離取得手段は、撮像画像データ取得手段(S5)と、距離算出手段(S5)とを含む。撮像画像データ取得手段(S5)は、表示装置の近傍に配置された少なくとも1つの撮像対象を撮像するための撮像手段を備えた入力装置(7)から出力される撮像画像データを取得する。距離算出手段(S5)は、撮像画像データで示される撮像画像に写っている撮像対象に基づいて、入力装置と撮像対象との間の距離をユーザと表示装置との間の距離として算出する。
第8の発明によれば、より正確に距離を取得することができ、より現実感の高い画像を表示できる。
第9の発明は、第8の発明において、距離算出手段は、撮像画像に写っている撮像対象の大きさに基づいて、入力装置と撮像対象との間の距離を算出する。
第10の発明は、第9の発明において、距離算出手段は、撮像画像に写っている撮像対象の大きさが大きいほど、入力装置と撮像対象との間の距離を小さい値で算出する。
第11の発明は、第8の発明において、距離算出手段は、撮像画像に写っている複数の撮像対象間の距離に基づいて、入力装置と撮像対象との間の距離を算出する。
第12の発明は、第11の発明において、距離算出手段は、撮像画像に写っている複数の撮像対象間の距離が大きいほど、入力装置と撮像対象との間の距離を小さい値で算出する。
第9乃至第12の発明によれば、より簡易な処理によって撮像対象と入力装置との間の距離を算出することができ、コンピュータの処理効率を高めることができる。
第13の発明は、第1の発明において、仮想カメラ設定手段は、仮想空間内のうち表示装置の画面または当該画面上における当該仮想空間の画像が表示される領域に表示される対象となる空間内にオブジェクトが存在するときは、当該オブジェクトの位置を基準として仮想カメラの位置および視野角を決定する。
第13の発明によれば、仮想空間内において、オブジェクトの位置から、実空間におけるユーザとテレビ間の距離だけ離れた位置に仮想カメラを配置できるため、より違和感のない画像を提供することができる。
第14の発明は、第1の発明において、仮想カメラ設定手段は、仮想空間内のうち表示装置の画面または当該画面上における当該仮想空間の画像が表示される領域に表示される対象となる空間内に複数のオブジェクトが存在するときは、当該複数のオブジェクトのうち、仮想カメラに最も近いオブジェクトの位置を基準として仮想カメラの位置および視野角を決定する。
第14の発明によれば、仮想空間が表示装置の画面のすぐ後ろに実在するかのような、不自然さのない、現実感の高い画像を表示することができる。
第15の発明は、仮想カメラで撮影した仮想空間の画像を表示装置(2)に出力する画像処理装置(3)であって、表示領域サイズ取得手段(10)と、距離取得手段(10)と、仮想カメラ設定手段(10)を備える。表示領域サイズ取得手段は、表示装置の画面の大きさまたは当該画面上において仮想空間の画像が表示される領域の大きさを示す表示領域サイズデータを取得する。距離取得手段は、ユーザと表示装置との間の距離を示す距離データを取得する。仮想カメラ設定手段は、表示領域サイズデータおよび距離データに基づいて、仮想空間内における仮想カメラの位置および視野角を設定する。
第15の発明によれば、第1の発明と同様の効果を得ることができる。
本発明によれば、仮想空間の画像について、ユーザの位置から見て不自然にならない現実感の高い画像を表示することができ、ユーザに感じさせる違和感を軽減することが可能となる。
以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。
(ゲームシステムの全体構成)
図1を参照して、本発明の実施形態に係るゲーム装置を含むゲームシステム1について説明する。図1は、ゲームシステム1の外観図である。以下、据置型のゲーム装置を一例にして、本実施形態のゲーム装置およびゲームプログラムについて説明する。図1において、ゲームシステム1は、テレビジョン受像器(以下、単に「テレビ」と記載する)2、ゲーム装置本体3、光ディスク4、コントローラ7、およびマーカ部8を含む。本システムは、コントローラ7を用いたゲーム操作に基づいてゲーム装置本体3でゲーム処理を実行するものである。
ゲーム装置本体3には、当該ゲーム装置本体3に対して交換可能に用いられる情報記憶媒体の一例である光ディスク4が脱着可能に挿入される。光ディスク4には、ゲーム装置本体3において実行されるためのゲームプログラムが記憶されている。ゲーム装置本体3の前面には光ディスク4の挿入口が設けられている。ゲーム装置本体3は、挿入口に挿入された光ディスク4に記憶されたゲームプログラムを読み出して実行することによってゲーム処理を実行する。
ゲーム装置本体3には、表示装置の一例であるテレビ2が接続コードを介して接続される。テレビ2には、ゲーム装置本体3において実行されるゲーム処理の結果得られるゲーム画像が表示される。また、テレビ2の画面の周辺(図1では画面の上側)には、マーカ部8が設置される。マーカ部8は、その両端に2つのマーカ8Rおよび8Lを備えている。マーカ8R(マーカ8Lも同様)は、具体的には1以上の赤外LEDであり、テレビ2の前方に向かって赤外光を出力する。マーカ部8はゲーム装置本体3に接続されており、ゲーム装置本体3はマーカ部8が備える各赤外LEDの点灯を制御することが可能である。
コントローラ7は、当該コントローラ7自身に対して行われた操作の内容を示す操作データをゲーム装置本体3に与える入力装置である。コントローラ7とゲーム装置本体3とは無線通信によって接続される。本実施形態では、コントローラ7とゲーム装置本体3との間の無線通信には例えばBluetooth(ブルートゥース)(登録商標)の技術が用いられる。なお、他の実施形態においてはコントローラ7とゲーム装置本体3とは有線で接続されてもよい。
(ゲーム装置本体3の内部構成)
次に、図2を参照して、ゲーム装置本体3の内部構成について説明する。図2は、ゲーム装置本体3の構成を示すブロック図である。ゲーム装置本体3は、CPU10、システムLSI11、外部メインメモリ12、ROM/RTC13、ディスクドライブ14、およびAV−IC15等を有する。
CPU10は、光ディスク4に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。CPU10は、システムLSI11に接続される。システムLSI11には、CPU10の他、外部メインメモリ12、ROM/RTC13、ディスクドライブ14およびAV−IC15が接続される。システムLSI11は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。システムLSIの内部構成について後述する。揮発性の外部メインメモリ12は、光ディスク4から読み出されたゲームプログラムや、フラッシュメモリ17から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、CPU10のワーク領域やバッファ領域として用いられる。ROM/RTC13は、ゲーム装置本体3の起動用のプログラムが組み込まれるROM(いわゆるブートROM)と、時間をカウントするクロック回路(RTC:Real Time Clock)とを有する。ディスクドライブ14は、光ディスク4からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ11eまたは外部メインメモリ12に読み出したデータを書き込む。
また、システムLSI11には、入出力プロセッサ11a、GPU(Graphics Processor Unit)11b、DSP(Digital Signal Processor)11c、VRAM11d、および内部メインメモリ11eが設けられる。図示は省略するが、これらの構成要素11a〜11eは内部バスによって互いに接続される。
GPU11bは、描画手段の一部を形成し、CPU10からのグラフィクスコマンド(作画命令)に従って画像を生成する。より具体的には、GPU11bは、当該グラフィクスコマンドに従って3Dグラフィックスの表示に必要な計算処理、例えば、レンダリングの前処理にあたる3D座標から2D座標への座標変換などの処理や、テクスチャの張り込みなどの最終的なレンダリング処理を行うことで、ゲーム画像データを生成する。ここで、CPU10は、グラフィクスコマンドに加えて、ゲーム画像データの生成に必要な画像生成プログラムをGPU11bに与える。VRAM11dは、GPU11bがグラフィクスコマンドを実行するために必要なデータ(ポリゴンデータやテクスチャデータ等のデータ)を記憶する。画像が生成される際には、GPU11bは、VRAM11dに記憶されたデータを用いて画像データを作成する。
DSP11cは、オーディオプロセッサとして機能し、内部メインメモリ11eや外部メインメモリ12に記憶されるサウンドデータや音波形(音色)データを用いて、音声データを生成する。また、内部メインメモリ11eは、外部メインメモリ12と同様に、プログラムや各種データを記憶したり、CPU10のワーク領域やバッファ領域としても用いられる。
上述のように生成された画像データおよび音声データは、AV−IC15によって読み出される。AV−IC15は、読み出した画像データをAVコネクタ16を介してテレビ2に出力するとともに、読み出した音声データを、テレビ2に内蔵されるスピーカ2aに出力する。これによって、画像がテレビ2に表示されるとともに音がスピーカ2aから出力される。
入出力プロセッサ(I/Oプロセッサ)11aは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ11aは、フラッシュメモリ17、無線通信モジュール18、無線コントローラモジュール19、拡張コネクタ20、およびメモリカード用コネクタ21に接続される。無線通信モジュール18にはアンテナ22が接続され、無線コントローラモジュール19にはアンテナ23が接続される。
入出力プロセッサ11aは、無線通信モジュール18およびアンテナ22を介してネットワークに接続し、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。入出力プロセッサ11aは、定期的にフラッシュメモリ17にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、無線通信モジュール18およびアンテナ22を介してネットワークに送信する。また、入出力プロセッサ11aは、他のゲーム装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ22および無線通信モジュール18を介して受信し、受信したデータをフラッシュメモリ17に記憶する。CPU10はゲームプログラムを実行することにより、フラッシュメモリ17に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ17には、ゲーム装置本体3と他のゲーム装置や各種サーバとの間で送受信されるデータの他、ゲーム装置本体3を利用してプレイしたゲームのセーブデータ(ゲームの結果データまたは途中データ)が記憶されてもよい。
また、入出力プロセッサ11aは、コントローラ7から送信される操作データをアンテナ23および無線コントローラモジュール19を介して受信し、内部メインメモリ11eまたは外部メインメモリ12のバッファ領域に記憶(一時記憶)する。
さらに、入出力プロセッサ11aには、拡張コネクタ20およびメモリカード用コネクタ21が接続される。拡張コネクタ20は、USBやSCSIのようなインターフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによって無線通信モジュール18に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ21は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ11aは、拡張コネクタ20やメモリカード用コネクタ21を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
ゲーム装置本体3には、電源ボタン24、リセットボタン25、およびイジェクトボタン26が設けられる。電源ボタン24およびリセットボタン25は、システムLSI11に接続される。電源ボタン24がオンにされると、ゲーム装置本体3の各構成要素に対して、図示しないACアダプタを経て電源が供給される。また、一旦電源がオンにされた状態で、再度電源ボタン24を押すと、低電力スタンバイモードへの移行が行われる。この状態でも、ゲーム装置本体3への通電は行われているため、インターネット等のネットワークに常時接続しておくことができる。なお、一旦電源がオンにされた状態で、電源をオフにしたいときは、電源ボタン24を所定時間以上長押しすることで、電源をオフとすることが可能である。リセットボタン25が押されると、システムLSI11は、ゲーム装置本体3の起動プログラムを再起動する。イジェクトボタン26は、ディスクドライブ14に接続される。イジェクトボタン26が押されると、ディスクドライブ14から光ディスク4が排出される。
次に、図3および図4を参照して、コントローラ7について説明する。なお、図3は、コントローラ7の上面後方から見た斜視図である。図4は、コントローラ7を下面前方から見た斜視図である。
図3および図4において、コントローラ7は、ハウジング71と、当該ハウジング71の表面に設けられた複数個の操作ボタンで構成される操作部72とを備える。本実施例のハウジング71は、その前後方向を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさであり、例えばプラスチック成型によって形成されている。
ハウジング71上面の中央前面側に、十字キー72aが設けられる。この十字キー72aは、十字型の4方向プッシュスイッチであり、4つの方向(前後左右)に対応する操作部分が十字の突出片にそれぞれ90°間隔で配置される。プレイヤが十字キー72aのいずれかの操作部分を押下することによって前後左右いずれかの方向を選択される。例えばプレイヤが十字キー72aを操作することによって、仮想ゲーム世界に登場するプレイヤキャラクタ等の移動方向を指示したり、複数の選択肢から選択指示したりすることができる。
なお、十字キー72aは、上述したプレイヤの方向入力操作に応じて操作信号を出力する操作部であるが、他の態様の操作部でもかまわない。例えば、十字方向に4つのプッシュスイッチを配設し、プレイヤによって押下されたプッシュスイッチに応じて操作信号を出力する操作部を設けてもかまわない。さらに、上記4つのプッシュスイッチとは別に、上記十字方向が交わる位置にセンタスイッチを配設し、4つのプッシュスイッチとセンタスイッチとを複合した操作部を設けてもかまわない。また、ハウジング71上面から突出した傾倒可能なスティック(いわゆる、ジョイスティック)を倒すことによって、傾倒方向に応じて操作信号を出力する操作部を上記十字キー72aの代わりに設けてもかまわない。さらに、水平移動可能な円盤状部材をスライドさせることによって、当該スライド方向に応じた操作信号を出力する操作部を、上記十字キー72aの代わりに設けてもかまわない。また、タッチパッドを、上記十字キー72aの代わりに設けてもかまわない。
ハウジング71上面の十字キー72aより後面側に、複数の操作ボタン72b〜72gが設けられる。操作ボタン72b〜72gは、プレイヤがボタン頭部を押下することによって、それぞれの操作ボタン72b〜72gに割り当てられた操作信号を出力する操作部である。例えば、操作ボタン72b〜72dには、1番ボタン、2番ボタン、およびAボタン等としての機能が割り当てられる。また、操作ボタン72e〜72gには、マイナスボタン、ホームボタン、およびプラスボタン等としての機能が割り当てられる。これら操作ボタン72a〜72gは、ゲーム装置本体3が実行するゲームプログラムに応じてそれぞれの操作機能が割り当てられる。なお、図3に示した配置例では、操作ボタン72b〜72dは、ハウジング71上面の中央前後方向に沿って並設されている。また、操作ボタン72e〜72gは、ハウジング71上面の左右方向に沿って操作ボタン72bおよび72dの間に並設されている。そして、操作ボタン72fは、その上面がハウジング71の上面に埋没しており、プレイヤが不意に誤って押下することのないタイプのボタンである。
また、ハウジング71上面の十字キー72aより前面側に、操作ボタン72hが設けられる。操作ボタン72hは、遠隔からゲーム装置本体3本体の電源をオン/オフする電源スイッチである。この操作ボタン72hも、その上面がハウジング71の上面に埋没しており、プレイヤが不意に誤って押下することのないタイプのボタンである。
また、ハウジング71上面の操作ボタン72cより後面側に、複数のLED702が設けられる。ここで、コントローラ7は、他のコントローラ7と区別するためにコントローラ種別(番号)が設けられている。例えば、LED702は、コントローラ7に現在設定されている上記コントローラ種別をプレイヤに通知するために用いられる。具体的には、コントローラ7からゲーム装置本体3へ送信データを送信する際、上記コントローラ種別に応じて複数のLED702のうち、種別に対応するLEDが点灯する。
また、ハウジング71上面には、操作ボタン72bおよび操作ボタン72e〜72gの間に後述するスピーカ(図5のスピーカ706)からの音を外部に放出するための音抜き孔が形成されている。
一方、ハウジング71下面には、凹部が形成されている。後述で明らかとなるが、ハウジング71下面の凹部は、プレイヤがコントローラ7の前面をマーカ8Lおよび8Rに向けて片手で把持したときに、当該プレイヤの人差し指や中指が位置するような位置に形成される。そして、上記凹部の傾斜面には、操作ボタン72iが設けられる。操作ボタン72iは、例えばBボタンとして機能する操作部である。
また、ハウジング71前面には、撮像情報演算部74の一部を構成する撮像素子743が設けられる。ここで、撮像情報演算部74は、コントローラ7が撮像した画像データを解析してその中で輝度が高い場所を判別してその場所の重心位置やサイズなどを検出するためのシステムであり、例えば、最大200フレーム/秒程度のサンプリング周期であるため比較的高速なコントローラ7の動きでも追跡して解析することができる。この撮像情報演算部74の詳細な構成については、後述する。また、ハウジング71の後面には、コネクタ73が設けられている。コネクタ73は、例えばエッジコネクタであり、例えば接続ケーブルと嵌合して接続するために利用される。
ここで、以下の説明を具体的にするために、コントローラ7に対して設定する座標系について定義する。図3および図4に示すように、互いに直交するxyz軸をコントローラ7に対して定義する。具体的には、コントローラ7の前後方向となるハウジング71の長手方向をz軸とし、コントローラ7の前面(撮像情報演算部74が設けられている面)方向をz軸正方向とする。また、コントローラ7の上下方向をy軸とし、ハウジング71の上面(操作ボタン72a等が設けられた面)方向をy軸正方向とする。さらに、コントローラ7の左右方向をx軸とし、ハウジング71の左側面(図3では表されずに図4で表されている側面)方向をx軸正方向とする。
次に、図5および図6を参照して、コントローラ7の内部構造について説明する。なお、図5は、コントローラ7の上ハウジング(ハウジング71の一部)を外した状態を後面側から見た斜視図である。図6は、コントローラ7の下ハウジング(ハウジング71の一部)を外した状態を前面側から見た斜視図である。ここで、図6に示す基板700は、図5に示す基板700の裏面から見た斜視図となっている。
図5において、ハウジング71の内部には基板700が固設されており、当該基板700の上主面上に操作ボタン72a〜72h、加速度センサ701、LED702、およびアンテナ754等が設けられる。そして、これらは、基板700等に形成された配線(図示せず)によってマイコン751等(図6、図7参照)に接続される。マイコン751は本願発明のボタンデータ発生手段の一例として、操作ボタン72a等の種類に応じた操作ボタンデータを発生させるように機能する。この仕組みは公知技術であるが、例えばキートップ下側に配置されたタクトスイッチなどのスイッチ機構による配線の接触/切断をマイコン751が検出することによって実現されている。より具体的には、操作ボタンが例えば押されると配線が接触して通電するので、この通電がどの操作ボタンにつながっている配線で発生したかをマイコン751が検出し、操作ボタンの種類に応じた信号を発生させている。
また、コントローラ7は、無線モジュール753(図7参照)およびアンテナ754によって、ワイヤレスコントローラとして機能する。なお、ハウジング71内部には図示しない水晶振動子が設けられており、後述するマイコン751の基本クロックを生成する。また、基板700の上主面上に、スピーカ706およびアンプ708が設けられる。また、加速度センサ701は、操作ボタン72dの左側の基板700上(つまり、基板700の中央部ではなく周辺部)に設けられる。したがって、加速度センサ701は、コントローラ7の長手方向を軸とした回転に応じて、重力加速度の方向変化に加え、遠心力による成分の含まれる加速度を検出することができるので、所定の演算により、検出される加速度データからコントローラ7の回転を良好な感度でゲーム装置本体3等が判定することができる。
一方、図6において、基板700の下主面上の前端縁に撮像情報演算部74が設けられる。撮像情報演算部74は、コントローラ7の前方から順に赤外線フィルタ741、レンズ742、撮像素子743、および画像処理回路744によって構成されており、それぞれ基板700の下主面に取り付けられる。また、基板700の下主面上の後端縁にコネクタ73が取り付けられる。さらに、基板700の下主面上にサウンドIC707およびマイコン751が設けられている。サウンドIC707は、基板700等に形成された配線によってマイコン751およびアンプ708と接続され、ゲーム装置本体3から送信されたサウンドデータに応じてアンプ708を介してスピーカ706に音声信号を出力する。
そして、基板700の下主面上には、バイブレータ704が取り付けられる。バイブレータ704は、例えば振動モータやソレノイドである。バイブレータ704は、基板700等に形成された配線によってマイコン751と接続され、ゲーム装置本体3から送信された振動データに応じてその作動をオン/オフする。バイブレータ704が作動することによってコントローラ7に振動が発生するので、それを把持しているプレイヤの手にその振動が伝達され、いわゆる振動対応ゲームが実現できる。ここで、バイブレータ704は、ハウジング71のやや前方寄りに配置されるため、プレイヤが把持している状態において、ハウジング71が大きく振動することになり、振動を感じやすくなる。
次に、図7を参照して、コントローラ7の内部構成について説明する。なお、図7は、コントローラ7の構成を示すブロック図である。
図7において、コントローラ7は、上述した操作部72、撮像情報演算部74、加速度センサ701、バイブレータ704、スピーカ706、サウンドIC707、およびアンプ708の他に、その内部に通信部75を備えている。
撮像情報演算部74は、赤外線フィルタ741、レンズ742、撮像素子743、および画像処理回路744を含んでいる。赤外線フィルタ741は、コントローラ7の前方から入射する光から赤外線のみを通過させる。ここで、テレビ2の表示画面近傍に配置されるマーカ8Lおよび8Rは、テレビ2の前方に向かって赤外光を出力する赤外LEDである。したがって、赤外線フィルタ741を設けることによってマーカ8Lおよび8Rの画像をより正確に撮像することができる。レンズ742は、赤外線フィルタ741を透過した赤外線を集光して撮像素子743へ入射させる。撮像素子743は、例えばCMOSセンサやあるいはCCDのような固体撮像素子であり、レンズ742が集光した赤外線を撮像する。したがって、撮像素子743は、赤外線フィルタ741を通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子743によって撮像された画像を撮像画像と呼ぶ。撮像素子743によって生成された画像データは、画像処理回路744で処理される。画像処理回路744は、撮像画像内における撮像対象(マーカ8Lおよび8R)の位置を算出する。以下、図8を用いて撮像対象の位置の算出方法を説明する。
図8は、撮像画像の一例を示す図である。図8に示す撮像画像A1においては、マーカ8Lの画像8L'およびマーカ8Rの画像8R'が左右に並んでいる。撮像画像が入力されると、まず、画像処理回路744は、撮像画像内において所定条件に合致する領域の位置を示す座標を当該領域毎に算出する。ここで、所定条件とは、撮像対象の画像(対象画像)を特定するための条件であり、所定条件の具体的な内容は、輝度が所定値以上の領域(高輝度領域)であり、かつ、領域の大きさが所定範囲内の大きさであることである。なお、所定条件は撮像対象を特定するための条件であればよく、他の実施形態においては、画像の色に関する条件を含んでいてもよい。
対象画像の位置を算出する際、まず、画像処理回路744は、撮像画像の領域から上記高輝度領域を対象画像の候補として特定する。撮像画像の画像データにおいて対象画像は高輝度領域として現れるからである。次に、画像処理回路744は、特定された高輝度領域の大きさに基づいて、その高輝度領域が対象画像であるか否かを判定する判定処理を行う。撮像画像には、対象画像である2つのマーカ8Lおよび8Rの画像8L'および8R'の他、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれている場合がある。この場合、マーカ8Lおよび8Rの画像8L'および8R'以外の画像も高輝度領域として現れてしまう。上記の判定処理は、対象画像であるマーカ8Lおよび8Rの画像8L'および8R'とそれ以外の画像とを区別し、対象画像を正確に特定するための処理である。具体的には、当該判定処理においては、特定された高輝度領域が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度領域が所定範囲内の大きさである場合、当該高輝度領域は対象画像を表すと判定され、高輝度領域が所定範囲内の大きさでない場合、当該高輝度領域は対象画像以外の画像を表すと判定される。
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度領域について、画像処理回路744は当該高輝度領域の位置を算出する。具体的には、当該高輝度領域の重心位置を算出する。なお、重心位置は撮像素子743の解像度よりも詳細なスケールで算出することが可能である。ここでは、撮像素子743によって撮像された撮像画像の解像度が126×96であるとし、重心位置は1024×768のスケールで算出されるものとする。つまり、重心位置の座標は、(0,0)から(1024,768)までの整数値で表現される。なお、撮像画像における位置は、図8に示すように、撮像画像の左上を原点とし、下向きをy軸正方向とし、右向きをx軸正方向とする座標系(xy座標系)で表現されるものとする。
以上のようにして、画像処理回路744は、撮像画像内において所定条件に合致する領域の位置を示す座標を当該領域毎に算出する。なお、以下では、画像処理回路744によって算出される座標をマーカ座標と呼ぶ。マーカ座標は、撮像画像に対応する平面上の位置を表すための座標系において撮像対象の位置を示す座標である。画像処理回路744は、マーカ座標を通信部75のマイコン751へ出力する。マーカ座標のデータは、マイコン751によって操作データとしてゲーム装置本体3に送信される。マーカ座標はコントローラ7自体の向き(姿勢)や位置に対応して変化するので、ゲーム装置本体3は当該座標値を用いてコントローラ7の向きや位置を算出することができる。なお、本実施形態では、撮像画像からマーカ座標を算出する処理までをコントローラ7の画像処理回路744および/またはマイコン751で行ったが、例えば撮像画像をゲーム装置本体3に送り、以降の処理と同等の処理をゲーム装置本体3のCPU10等で行わせることもできる。
また、コントローラ7は、3軸(x、y、z軸)の加速度センサ701を備えていることが好ましい。この3軸の加速度センサ701は、3方向、すなわち、上下方向、左右方向、および前後方向で直線加速度を検知する。また、他の実施形態においては、ゲーム処理に用いる制御信号の種類によっては、上下および左右方向(または他の対になった方向)のそれぞれに沿った直線加速度のみを検知する2軸の加速度検出手段を使用してもよい。例えば、この3軸または2軸の加速度センサ701は、アナログ・デバイセズ株式会社(Analog Devices, Inc.)またはSTマイクロエレクトロニクス社(STMicroelectronics N.V.)から入手可能であるタイプのものでもよい。加速度センサ701は、シリコン微細加工されたMEMS(Micro Electro Mechanical Systems:微小電子機械システム)の技術に基づいた静電容量式(静電容量結合式)であってもよい。しかしながら、既存の加速度検出手段の技術(例えば、圧電方式や圧電抵抗方式)あるいは将来開発される他の適切な技術を用いて3軸または2軸の加速度センサ701が提供されてもよい。
当業者には公知であるように、加速度センサ701に用いられるような加速度検出手段は、加速度センサの持つ各軸に対応する直線に沿った加速度(直線加速度)のみを検知することができる。つまり、加速度センサ701からの直接の出力は、その2軸または3軸のそれぞれに沿った直線加速度(静的または動的)を示す信号である。このため、加速度センサ701は、非直線状(例えば、円弧状)の経路に沿った動き、回転、回転運動、角変位、傾斜、位置、または姿勢等の物理特性を直接検知することはできない。
しかしながら、加速度センサ701から出力される加速度の信号に基づいて、ゲーム装置のプロセッサ(例えばCPU10)またはコントローラのプロセッサ(例えばマイコン751)などのコンピュータが処理を行うことによって、コントローラ7に関するさらなる情報を推測または算出(判定)することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサを搭載するコントローラが静的な状態であることを前提としてコンピュータ側で処理する場合(すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理する場合)、コントローラが現実に静的な状態であれば、検出された加速度に基づいてコントローラの姿勢が重力方向に対して傾いているか否か又はどの程度傾いているかを知ることができる。具体的には、加速度センサの検出軸が鉛直下方向を向いている状態を基準としたとき、1G(重力加速度)がかかっているか否かだけで傾いているか否かを知ることができるし、その大きさによってどの程度傾いているかも知ることができる。また、多軸の加速度センサの場合には、さらに各軸の加速度の信号に対して処理を施すことによって、各軸が重力方向に対してどの程度傾いているかをより詳細に知ることができる。この場合において、加速度センサ701からの出力に基づいて、プロセッサがコントローラ7の傾き角度のデータを算出する処理をおこなってもよいが、当該傾き角度のデータを算出する処理をおこなうことなく、加速度センサ701からの出力に基づいて、おおよその傾き具合を推定するような処理としてもよい。このように、加速度センサ701をプロセッサと組み合わせて用いることによって、コントローラ7の傾き、姿勢または位置を判定することができる。一方、加速度センサが動的な状態であることを前提とする場合には、重力加速度成分に加えて加速度センサの動きに応じた加速度を検出するので、重力加速度成分を所定の処理により除去すれば、動き方向などを知ることができる。具体的には、加速度センサ701を備えるコントローラ7がユーザの手で動的に加速されて動かされる場合に、加速度センサ701によって生成される加速度信号を処理することによって、コントローラ7のさまざまな動きおよび/または位置を算出することができる。なお、加速度センサが動的な状態であることを前提とする場合であっても、加速度センサの動きに応じた加速度を所定の処理により除去すれば、重力方向対する傾きを知ることが可能である。他の実施例では、加速度センサ701は、信号をマイコン751に出力する前に内蔵の加速度検出手段から出力される加速度信号に対して所望の処理を行うための、組込み式の信号処理装置または他の種類の専用の処理装置を備えていてもよい。例えば、組込み式または専用の処理装置は、加速度センサが静的な加速度(例えば、重力加速度)を検出するためのものである場合、検知された加速度信号をそれに相当する傾斜角(あるいは、他の好ましいパラメータ)に変換するものであってもよい。
他の実施形態の例では、コントローラ7の動きを検出する動きセンサとして、回転素子または振動素子などを内蔵したジャイロセンサを用いてもよい。この実施形態で使用されるMEMSジャイロセンサの一例として、アナログ・デバイセズ株式会社から入手可能なものがある。加速度センサ701と異なり、ジャイロセンサは、それが内蔵する少なくとも一つのジャイロ素子の軸を中心とした回転(または角速度)を直接検知することができる。このように、ジャイロセンサと加速度センサとは基本的に異なるので、個々の用途のためにいずれの装置が選択されるかによって、これらの装置からの出力信号に対して行う処理を適宜変更する必要がある。
具体的には、加速度センサの代わりにジャイロセンサを用いて傾きや姿勢を算出する場合には、大幅な変更を行う。すなわち、ジャイロセンサを用いる場合、検出開始の状態において傾きの値を初期化する。そして、当該ジャイロセンサから出力される角速度データを積分する。次に、初期化された傾きの値からの傾きの変化量を算出する。この場合、算出される傾きは、角度に対応する値が算出されることになる。一方、加速度センサによって傾きを算出する場合には、重力加速度のそれぞれの軸に関する成分の値を、所定の基準と比較することによって傾きを算出するので、算出される傾きはベクトルで表すことが可能であり、初期化を行わずとも、加速度検出手段を用いて検出される絶対的な方向を検出することが可能である。また、傾きとして算出される値の性質は、ジャイロセンサが用いられる場合には角度であるのに対して、加速度センサが用いられる場合にはベクトルであるという違いがある。したがって、加速度センサに代えてジャイロセンサが用いられる場合、当該傾きのデータに対して、2つのデバイスの違いを考慮した所定の変換を行う必要がある。加速度検出手段とジャイロセンサとの基本的な差異と同様にジャイロセンサの特性は当業者に公知であるので、本明細書ではさらなる詳細を省略する。ジャイロセンサは、回転を直接検知できることによる利点を有する一方、一般的には、加速度センサは、本実施形態で用いるようなコントローラに適用される場合、ジャイロセンサに比べて費用効率が良いという利点を有する。
通信部75は、マイクロコンピュータ(Micro Computer:マイコン)751、メモリ752、無線モジュール753、およびアンテナ754を含んでいる。マイコン751は、処理の際にメモリ752を記憶領域として用いながら、送信データを無線送信する無線モジュール753を制御する。また、マイコン751は、アンテナ754を介して無線モジュール753が受信したゲーム装置本体3からのデータに応じて、サウンドIC707およびバイブレータ704の動作を制御する。サウンドIC707は、通信部75を介してゲーム装置本体3から送信されたサウンドデータ等を処理する。また、マイコン751は、通信部75を介してゲーム装置本体3から送信された振動データ(例えば、バイブレータ704をONまたはOFFする信号)等に応じて、バイブレータ704を作動させる。
コントローラ7に設けられた操作部72からの操作信号(キーデータ)、加速度センサ701からの加速度信号(x、y、およびz軸方向加速度データ;以下、単に加速度データと記載する)、および撮像情報演算部74からの処理結果データは、マイコン751に出力される。マイコン751は、入力した各データ(キーデータ、加速度データ、処理結果データ)を無線コントローラモジュール19へ送信する送信データとして一時的にメモリ752に格納する。ここで、通信部75から無線コントローラモジュール19への無線送信は、所定の周期毎に行われるが、ゲームの処理は1/60秒を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。具体的には、ゲームの処理単位は16.7ms(1/60秒)であり、ブルートゥース(Bluetooth;登録商標)で構成される通信部75の送信間隔は例えば5msである。マイコン751は、無線コントローラモジュール19への送信タイミングが到来すると、メモリ752に格納されている送信データを一連の操作情報として出力し、無線モジュール753へ出力する。そして、無線モジュール753は、例えばブルートゥース(登録商標)の技術に基づいて、所定周波数の搬送波を用いて操作情報で変調し、その電波信号をアンテナ754から放射する。つまり、コントローラ7に設けられた操作部72からのキーデータ、加速度センサ701からの加速度データ、および撮像情報演算部74からの処理結果データが無線モジュール753で電波信号に変調されてコントローラ7から送信される。そして、ゲーム装置本体3の無線コントローラモジュール19でその電波信号を受信し、ゲーム装置本体3で当該電波信号を復調や復号することによって、一連の操作情報(キーデータ、加速度データ、および処理結果データ)を取得する。そして、ゲーム装置本体3のCPU10は、取得した操作情報とゲームプログラムとに基づいて、ゲーム処理を行う。なお、ブルートゥース(登録商標)の技術を用いて通信部75を構成する場合、通信部75は、他のデバイスから無線送信された送信データを受信する機能も備えることができる。
ここで、コントローラ7を用いたゲーム操作について説明する。ゲームシステム1でコントローラ7を用いてゲームをプレイする際、プレイヤは、一方の手でコントローラ7を把持する。このとき、図9に示すように、プレイヤは、コントローラ7の前面(撮像情報演算部74が撮像する光の入射口側)がマーカ8Lおよび8Rの方向を向く状態でコントローラ7を把持する。この状態で、プレイヤは、コントローラ7の傾きを変化させたり、コントローラ7が指し示す画面上の位置(指示位置)を変更したり、コントローラ7と各マーカ8Lおよび8Rとの距離を変更したりすることによってゲーム操作を行う。
次に、上記のように構成された本ゲームシステム1で実行される処理の概要(本発明の原理)について説明する。まず、本実施形態では、3Dモデルをプレイヤが作成するためのエディタゲームを想定している。具体的には、画面内に表示されるサンプル3Dモデルに対して、プレイヤがコントローラ7を用いて所望の位置を指定し、各種操作を行うことで、ユーザが自由に3Dモデルを作成あるいは編集することができるゲームである。
本実施形態では、実空間上におけるプレイヤとテレビ2との間の距離に基づいて、仮想カメラの位置や視野角(画角)の設定を行う。より具体的には、まず、上記コントローラ7とマーカー部8との距離(プレイヤとテレビとの間の距離に相当する)を算出する。そして、仮想空間内において、撮影対象となる3Dモデルから上記算出した距離分だけ離れた位置に仮想カメラを配置する。そして、上記3Dモデルが表示される画面上の表示領域の大きさと上記距離に基づいて、仮想カメラの視野角を決定する。
ここで、表示領域とは、実空間において、上記3Dモデルを表示するための領域をいう(換言すれば、実空間での画面上の領域であって、かつ、いわゆるレンダリングターゲットが表示される領域である)。例えば、図10(a)に示すように全画面表示で3Dモデル101を表示する場合は、テレビ2の画面全体が表示領域となり、画面の大きさ(実寸)が表示領域の大きさとなる。また、図10(b)のように、ウィンドウ形式の表示を利用して、画面の一部の領域のみ3Dモデル表示用の領域にするときは、ウィンドウ102がここでいう表示領域となり、このウィンドウ102の大きさに対応する(このウィンドウが表示される)画面の一部の領域の実空間での大きさが表示領域の大きさになる。
例えば、仮想空間と実空間とのスケールは同じもの(実空間における立方体の大きさと仮想空間における立方体モデルの大きさの比率が1:1の関係)として、仮想空間内に配置された3Dモデル101、ここでは一例として、立方体モデル(以下、参照符号を合わせて立方体モデル101と呼ぶ)を仮想カメラで撮影した画像をテレビ2の画面に全画面表示する場合を例として、本実施形態での処理概要を説明する。まず、図11(a)のように、実空間におけるテレビ2とコントローラ7との距離dを算出する。次に、図11(b)に示すように、仮想空間上において、立方体モデル101からこの距離dだけ離れた位置に仮想カメラを配置する。例えば、テレビ2とコントローラ7との距離dが3mであれば、仮想空間内においても、立方体モデル101(のプレイヤ側を向いている面)から3m離れた位置に仮想カメラを配置する。実区間と仮想空間のスケールが同じであるため、テレビ2〜コントローラ7間の距離が、立方体モデル101〜仮想カメラ間の距離と同じになる。つまり、仮想カメラの位置がプレイヤ(コントローラ7)の位置に該当し、立方体モデル101の位置がテレビ2の位置に該当することになる。
次に、当該距離dと上記表示領域、ここではテレビ2の画面の大きさに応じて仮想カメラの視野角θを設定する。当該視野角θについては、図12(a)に示すようにテレビ2とコントローラ7の距離dが遠ければ、狭い視野角θが設定され、図12(b)に示すようにテレビ2とコントローラ7の距離dが近ければ、広い視野角θが設定される。つまり、プレイヤが画面に近づくにつれて、仮想カメラの視野角θが広く設定されていき、画面から遠ざかるにつれ、仮想カメラの視野角θも狭く設定されていく。
このように、実空間におけるプレイヤとテレビ2との間の距離に基づいて仮想カメラの位置や視野角θを設定し、上記立方体モデル101を撮影することで、より現実感のある画像を画面に表示できる。つまり、実空間において、テレビ2の中(あるいはテレビ2の画面のすぐ後ろ)に立方体モデル101が本当に存在する場合にプレイヤの目に映るであろう画像と同じ画像が画面に表示される。その結果、プレイヤにとって違和感のない画像を提供することができる。
次に、ゲーム装置本体3によって実行される画像処理の詳細を説明する。まず、画像処理の際に外部メインメモリ12に記憶されるデータについて説明する。図13は、ゲーム装置本体3のメインメモリ12のメモリマップを示す図である。図13において、外部メインメモリ12は、プログラム記憶領域120およびデータ記憶領域122を含む。プログラム記憶領域120およびデータ記憶領域122のデータは、光ディスク4に記憶され、画像処理プログラム実行時には外部メインメモリ12に転送されて記憶される。
プログラム記憶領域120には、CPU10によって実行される画像処理プログラム121等が記憶される。
データ記憶領域122には、操作データ123、表示領域サイズデータ124、距離データ125、仮想カメラデータ126、オブジェクトデータ127などのデータが記憶される。
操作データ123は、コントローラ7から送信されてくる一連の操作データであり、最新の操作データに更新される。操作データ123には、第1座標データ1231および第2座標データ1232が含まれる。第1座標データ1231は、撮像素子743が撮像した撮像画像に対して、2つのマーカ8Lおよび8Rのうちの一方の画像の位置(撮像画像内における位置;ここでは上記図8の8L’に相当)を表す座標のデータである。第2座標データ1232は、他方のマーカの画像の位置(撮像画像内における位置;ここでは上記図8の8R’に相当)を表す座標のデータである。例えば、マーカの画像の位置は、撮像画像におけるXY座標系によって表される。
表示領域サイズデータ124は、図10を用いて上述したような表示領域の大きさを表すデータである。例えば、表示領域の縦幅と横幅をセンチメートル等の単位で表したものが表示領域サイズデータ124として格納される。本実施形態では、当該横幅を示すデータを横幅wx、縦幅を示すデータを縦幅wyとして説明する。なお、表示領域サイズデータ124は、「32型」や「32インチ」等の単位で示される画面サイズであってもよい。また、当該データの取得に関しては、例えばゲーム装置本体3の「本体設定画面」等において、予めプレイヤにテレビ2の画面サイズを入力させ、その入力内容をフラッシュメモリ13に記憶するようにしてもよい。そして、本実施形態にかかる処理の実行に際してフラッシュメモリ13から外部メインメモリ12に読み込むようにしても良い。
距離データ125は、上記第1座標データ1231および第2座標データ1232に基づいて算出された、マーカ8Lおよび8Rからコントローラ7までの距離dを示すデータである。
仮想カメラデータ126は、仮想空間内における仮想カメラの位置等を示すデータである。仮想カメラデータ126には、カメラ姿勢データ1261、カメラ位置データ1262、カメラ視野角データ1263が含まれる。カメラ姿勢データ1261は、仮想カメラの姿勢(仮想カメラの向き)を示すデータである。カメラの姿勢は、XYZの3軸にそれぞれ対応する3次元ベクトルで示される(ここで、以下の説明では、3次元ベクトルについては、例えば、<1,0,1>のように、<X軸成分、Y軸成分、Z軸成分>という形式で表記する)。すなわち、Z軸方向の向きを示す3次元ベクトル<Zx、Zy、Zz>と、Y軸方向の向きを示す3次元ベクトル<Yx、Yy、Yz>と、X軸方向の向きを示す3次元ベクトル<Xx、Xy、Xz>でカメラの姿勢が示される(座標空間は右手座標系とする)。
カメラ位置データ1262は、仮想空間内における仮想カメラの位置を示すデータである。本実施形態では、3次元座標(cx、cy、cz)で示される。また、カメラ視野角データ1263は、仮想カメラの視野角を示すためのデータであり、水平視野角rxと垂直視野角ryを含む。これらの値は、後述する処理において算出される。
オブジェクトデータ127は、仮想空間内に配置される3Dモデルを示すデータである。例えば図11の立方体モデル101を構成するデータである。
次に、図14〜図16を参照して、ゲーム装置本体3によって実行される画像処理について説明する。なお、図14はゲーム装置本体3によって実行される画像処理の処理の詳細を示すフローチャートである。なお、図14に示すフローチャートにおいては、主に画像処理プログラムを実行して行われる仮想カメラの設定処理について説明し、本願発明とは直接関連しない他の処理については詳細な説明を省略する。
図14において、まず、CPU10は、表示領域サイズを示すデータの取得を行う(ステップS1)。具体的には、外部メインメモリ12から表示領域サイズデータ124を読み出し、予め設定されているデータである横幅wxおよび縦幅wyを取得する。なお、表示領域の大きさが予め設定されていないときは、CPU10は、所定の入力画面を表示して、プレイヤに画面の大きさを入力させるようにしてもよい。また、表示領域サイズデータ124が「32型」や「32インチ」等の単位で示されているときは、当該サイズから横幅wxおよび縦幅wyを算出するようにしてもよい。ここでは、サイズの単位はセンチメートルで設定されるものとする。ここで、当該表示領域のサイズを示す単位と、後述する距離dの単位は統一して扱うことが好ましい。そのため、後述の距離dについても、センチメートル単位で扱うものとして説明を行う。
次に、CPU10は、外部メインメモリ12からオブジェクトデータ127を読み出し、当該データを基に3Dモデルを生成する。そして、CPU10は、生成した3Dモデルを仮想空間内の所定の位置に配置する(ステップS2)。以下、当該3Dモデルの配置位置(3次元座標)を(ax、ay、az)で表す。
次に、CPU10は、仮想カメラの姿勢(仮想カメラの向き)を設定する(ステップS3)。当該姿勢は任意の姿勢でよいが、ここでは一例として、CPU10は、仮想カメラの撮影方向が正面方向になるように、カメラ姿勢データ1261を設定する。具体的には、Z軸方向の向きを示す3次元ベクトル<Zx、Zy、Zz>に<0,0,1>と、Y軸方向の向きを示す3次元ベクトル<Yx、Yy、Yz>に<0,1,0>、X軸方向の向きを示す3次元ベクトル<Xx、Xy、Xz>に<1,0,0>という値を設定する。また、各ベクトルの長さは1に設定する。
次に、CPU10は、仮想カメラからニアクリップ面までの距離nと、ファークリップ面までの距離fを設定する(ステップS4)。この距離としては、上記ステップS2で配置した3Dモデルが視体積の中に収まるのに必要十分な距離が設定される。
次に、CPU10は、コントローラ7から送信され記憶された第1座標データ1231および第2座標データ1232に基づいて、コントローラ7とマーカ8Lおよび8Rとの距離dを算出する(ステップS5)。このステップS5の処理をより具体的に説明すると、まず、CPU10は、第1座標データ1231および第2座標データ1232を取得し、2点間距離miを算出する。図15(a)に示すように、2点間距離miは、撮像画像内での2点間の距離である。この2点は、マーカ8Lおよび8Rを撮像した画像(8L’、8R’)に相当し、それぞれの座標を第1座標データ1231および第2座標データ1232として得ている。したがって、CPU10は、第1座標データ1231および第2座標データ1232を用いれば、2点間距離miを算出することができる。具体的には、第1座標データ1231が位置座標(Lx,Ly)、第2座標データ1232が位置座標(Rx,Ry)であるとすると、
Figure 2010061545
で算出される。
次に、CPU30は、マーカ8Lおよび8Rの設置位置に対する撮像素子743の撮像可能範囲の幅w(図15(b)参照)を算出する。ここで、幅wは、
w=wi×m/mi
で算出される。ここで、mは、マーカ8Lおよび8Rの設置間隔(実際の設置間隔;例えば、20cm)であり、固定値である。また、wiは、幅wに対応する撮像素子743の撮像画像の幅wiであり、固定値である。これら設置間隔mおよび幅wiは、いずれも固定値であるため、予めゲーム装置本体3内の記憶手段(例えばフラッシュメモリ17)に格納される。次に、CPU30は、幅wおよび撮像素子743の視野角θを用いて、マーカ8Lおよび8Rと撮像素子743(コントローラ7)との距離d(図15(b)参照)を算出し、距離データ125に格納する。ここで、距離dは、
d=(w/2)/{tan(θ/2)}
の関係式から算出することができる。ここで、視野角θは固定値であるため、予めゲーム装置本体3内の記憶手段(例えばフラッシュメモリ13)に格納される。
図14に戻り、次に、CPU10は、仮想空間内において、上記3Dモデルから距離dだけ離れた位置(cx、cy、cz)を算出し、当該位置に仮想カメラを配置する(ステップS6)。また、CPU10は、当該位置を示すデータを、カメラ位置データ1262として格納する。上記(cx、cy、cz)は、例えば以下の式で算出することができる。
cx=ax−d×Zx
cy=ay−d×Zy
cz=az−d×Zz
次に、CPU10は、仮想カメラの画角、すなわち、水平視野角rxおよび垂直視野角ryを算出する処理を実行する(ステップS7)。
水平視野角rxおよび垂直視野角ryは、
rx=2×ATAN(wx/2/d)
ry=2×ATAN(wy/2/d)
で算出される。図16に、水平視野角rxを算出する場合の、仮想カメラおよび3Dモデルの位置と距離dと横幅wxの関係を示す。ここで、水平視野角rxには、表示領域の横幅wxが大きくなるに連れて大きな値が設定される。すなわち、距離dが同じ値(プレイヤの位置が同じ)であっても、例えばアスペクト比が4:3の画面のテレビと16:9の画面のテレビでは、後者の方が大きな水平視野角rxが設定されることになる。また、アスペクト比が同じであっても、例えば、19インチのテレビと32インチのテレビとでは、32インチのテレビを用いているときの方が大きな視野角が設定されることになる(垂直視野角ryについても同様である)。
図14に戻り、次に、CPU10は、カメラ位置データ1262と、カメラ姿勢データ1261と、仮想カメラの視野角データ1263からカメラ行列を生成する(ステップS8)。カメラ行列は、仮想空間をカメラから見た方向に変換する3×4ビュー行列と、2D画面に投影する4×4プロジェクション行列の2つから成り立つ。具体的には、以下に示す行列式が生成される。
(3×4ビュー行列式)
Figure 2010061545
(4×4プロジェクション行列式)
Figure 2010061545
次に、CPU10は、上述の処理で設定された仮想カメラで上記3Dモデルが配置された仮想空間を撮影した画像を表示するための描画処理を実行する(ステップS9)。
ステップS9の後、、ステップS10において、処理終了か否かが判断され、YESの場合、処理を終了し、NOの場合、ステップS5に戻って、処理を繰り返す。以上で、本実施形態にかかる画像処理は終了する。
このように、本実施形態では、実空間におけるプレイヤとテレビとの間の距離に応じて、仮想カメラの位置や視野角が設定される。そして、このようにして設定された仮想カメラで撮影した画像が表示されることで、プレイヤに、より現実感の高い画像を提供することができる。
なお、テレビ2とプレイヤのと間の距離の取得に関し、上述の実施形態では、撮像装置付きのコントローラ7とマーカ8の組み合わせを用いたものを例として説明した。そして、マーカ8Lおよび8Rの設置間隔に基づいて距離dを算出していたが、これに限らず、撮像されたマーカ8Lまたは8Rの画像の大きさに基づいて距離dを算出するようにしてもよい。例えば、撮像画像におけるマーカの画像8L’または8R’(図15(a)参照)の直径に基づいて距離dを算出するようにしても良い。当該直径が大きければ距離dは短く、直径が小さいほど距離dは大きいと考えられるためである。
また、テレビ2とプレイヤのと間の距離の取得に関しては、上述のような撮像装置付きのコントローラ7とマーカ8の組み合わせを用いることに限らない。例えば、プレイヤにテレビ2との間の距離を計測させ、当該計測した距離を手入力させて一旦メモリに保存し、当該メモリから読み出すような手法でも良い。その他、プレイヤとテレビとの間の距離を取得できれば、どのような手法を用いても良い。
また、上記ステップS4におけるニアクリップ面までの距離nとファークリップ面までの距離fの設定処理については、上記ステップS6において仮想カメラを配置した後に実行するようにしてもよい。このように仮想カメラを配置してからニアクリップ面およびファークリップ面を設定することで、より適切な設定を行うことが可能となる。
また、複数の3Dモデルを画面に表示するようなときは、最もプレイヤに近い位置に配置された3Dモデルを基準として(つまり注視点として)、仮想カメラを配置するようにすることが好ましい。例えば、図11(b)に示したような立方体モデル101を2つ表示するような場合であって、奥行き方向の配置位置が異なるような場合、つまり、2つの立方体モデルのうち、一方がよりプレイヤに近い側に配置され、他方はより遠い側に配置されるような場合を想定する。この場合は、図17(a)に示すように、最もプレイヤに近い3Dモデルの位置を上記ステップS2で示した(ax、ay、az)として、この位置から距離dだけ離れた位置に仮想カメラを配置するようにすればよい。これにより、テレビ2の画面の後ろ側に上記最もプレイヤに近い3Dモデルが存在するように表示され、違和感のない、現実感のある画像を提供することが可能となる。この他、図17(b)に示すように、プレイヤから見て奥行き側に配置されている3Dモデルの位置を基準として仮想カメラを配置してもよいし、図17(c)に示すように、複数の3Dモデルの奥行き方向における距離の中点位置を基準に仮想カメラを配置するようにしても良い。図17(b)や(c)にような仮想カメラの配置を行った場合は、手前側の3Dモデルが、テレビ2の画面よりも手前側に存在するものとして表示することが可能となる。この場合であっても、これらの3Dモデルが本当にテレビ2の手前に存在するかのような現実感のある画像を提供することが可能である。
本発明にかかる画像処理プログラムおよび画像処理装置は、より現実感の高い画像を表示することができ、ゲーム装置やCADシステム等に有用である。
本発明の一実施形態に係るゲームシステム1を説明するための外観図 図1のゲーム装置本体5の機能ブロック図 図1のコントローラ7の上面後方から見た斜視図 図3のコントローラ7を下面前方から見た斜視図 図3のコントローラ7の上ハウジングを外した状態を示す斜視図 図3のコントローラ7の下ハウジングを外した状態を示す斜視図 図3のコントローラ7の構成を示すブロック図 撮像画像の一例を示す図 コントローラ7を用いたゲーム操作について説明するための図 表示領域について説明するための図 本実施形態での処理概要を説明するための図 本実施形態での処理概要を説明するための図 ゲーム装置本体3のメインメモリ12のメモリマップを示す図 ゲーム装置本体3によって実行される画像処理の処理の詳細を示すフローチャート 図13のステップS5の処理について説明するための図 図13のステップS7の処理について説明するための図 複数の3Dモデルが画面に表示される場合の処理について説明するための図 仮想空間での仮想カメラと立方体モデルの関係を示す図 実空間におけるプレイヤとテレビとの位置関係を示す図 仮想カメラの視野角とプレイヤの視野角との関係を示す図
符号の説明
1…ゲームシステム
2…モニタ
2a…スピーカ
3…ゲーム装置本体
4…光ディスク
7…コントローラ
10…CPU
11…システムLSI
11a…入出力プロセッサ
11b…GPU
11c…DSP
11d…VRAM
11e…内部メインメモリ
12…外部メインメモリ
13…ROM/RTC
14…ディスクドライブ
15…AV−IC
16…AVコネクタ
17…フラッシュメモリ
18…無線通信モジュール
19…無線コントローラモジュール
20…拡張コネクタ
21…外部メモリカード用コネクタ
22…アンテナ
23…アンテナ
24…電源ボタン
25…リセットボタン
26…イジェクトボタン
71…ハウジング
72…操作部
73…コネクタ
74…撮像情報演算部
741…赤外線フィルタ
742…レンズ
743…撮像素子
744…画像処理回路
75…通信部
751…マイコン
752…メモリ
753…無線モジュール
754…アンテナ
700…基板
701…加速度センサ
702…LED
703…水晶振動子
704…バイブレータ
707…サウンドIC
708…アンプ

Claims (15)

  1. 仮想カメラで撮影した仮想空間の画像を表示装置に出力する画像処理装置のコンピュータに実行させる画像処理プログラムであって、
    前記コンピュータを、
    前記表示装置の画面の大きさまたは当該画面上において前記仮想空間の画像が表示される領域の大きさを示す表示領域サイズデータを取得する表示領域サイズ取得手段と、
    ユーザと前記表示装置との間の距離を示す距離データを取得する距離取得手段と、
    前記表示領域サイズデータおよび前記距離データに基づいて、前記仮想空間内における前記仮想カメラの位置および視野角を設定する仮想カメラ設定手段として機能させる、画像処理プログラム。
  2. 前記表示領域サイズデータには、前記表示装置の画面または当該画面上における前記仮想空間の画像が表示される領域内での所定の第1方向および当該第1方向に直交する第2方向の幅を示すデータが含まれ、
    前記仮想カメラ設定手段は、前記表示領域サイズデータに含まれる前記第1方向および前記第2方向の幅に基づき、前記仮想カメラの水平視野角および垂直視野角を設定する、請求項1に記載の画像処理プログラム。
  3. 前記表示領域サイズデータには、前記表示装置の画面または当該画面上における前記仮想空間の画像が表示される領域内での所定の第1方向または当該第1方向に直交する第2方向の幅を示すデータが含まれ、
    前記仮想カメラ設定手段は、前記表示領域サイズデータに含まれる前記第1方向または前記第2方向の幅に基づき、前記仮想カメラの水平視野角および垂直視野角を設定する、請求項1に記載の画像処理プログラム。
  4. 前記仮想カメラ設定手段は、前記第1方向および/または前記第2方向の幅が大きいほど前記仮想カメラの水平視野角および/または垂直視野角を広く設定する、請求項2、または請求項3に記載の画像処理プログラム。
  5. 前記仮想カメラ設定手段は、前記距離データで示される距離が大きいほど前記水平視野角および/または垂直視野角を狭く設定する、請求項2、または請求項3に記載の画像処理プログラム。
  6. 前記仮想カメラ設定手段は、前記表示装置の画面または当該画面上における前記仮想空間の画像が表示される領域が大きいほど前記仮想カメラの視野角を広く設定する、請求項1に記載の画像処理プログラム。
  7. 前記仮想カメラ設定手段は、前記距離データで示される距離が大きいほど前記視野角を狭く設定する、請求項1に記載の画像処理プログラム。
  8. 前記距離取得手段は、
    前記表示装置の近傍に配置された少なくとも1つの撮像対象を撮像するための撮像手段を備えた入力装置から出力される撮像画像データを取得する撮像画像データ取得手段と、
    前記撮像画像データで示される撮像画像に写っている撮像対象に基づいて、前記入力装置と前記撮像対象との間の距離を前記ユーザと前記表示装置との間の距離として算出する距離算出手段とを含む、請求項1に記載の画像処理プログラム。
  9. 前記距離算出手段は、前記撮像画像に写っている撮像対象の大きさに基づいて、前記入力装置と前記撮像対象との間の距離を算出する、請求項8に記載の画像処理プログラム。
  10. 前記距離算出手段は、撮像画像に写っている撮像対象の大きさが大きいほど、前記入力装置と前記撮像対象との間の距離を小さい値で算出する、請求項9に記載の画像処理プログラム。
  11. 前記距離算出手段は、撮像画像に写っている複数の撮像対象間の距離に基づいて、前記入力装置と前記撮像対象との間の距離を算出する、請求項8に記載の画像処理プログラム。
  12. 前記距離算出手段は、撮像画像に写っている複数の撮像対象間の距離が大きいほど、前記入力装置と前記撮像対象との間の距離を小さい値で算出する、請求項11に記載の画像処理プログラム。
  13. 前記仮想カメラ設定手段は、前記仮想空間内のうち前記表示装置の画面または当該画面上における当該仮想空間の画像が表示される領域に表示される対象となる空間内にオブジェクトが存在するときは、当該オブジェクトの位置を基準として前記仮想カメラの位置および視野角を決定する、請求項1に記載の画像処理プログラム。
  14. 前記仮想カメラ設定手段は、前記仮想空間内のうち前記表示装置の画面または当該画面上における当該仮想空間の画像が表示される領域に表示される対象となる空間内に複数のオブジェクトが存在するときは、当該複数のオブジェクトのうち、前記仮想カメラに最も近いオブジェクトの位置を基準として前記仮想カメラの位置および視野角を決定する、請求項1に記載の画像処理プログラム。
  15. 仮想カメラで撮影した仮想空間の画像を表示装置に出力する画像処理装置であって、
    前記表示装置の画面の大きさまたは当該画面上において前記仮想空間の画像が表示される領域の大きさを示す表示領域サイズデータを取得する表示領域サイズ取得手段と、
    ユーザと前記表示装置との間の距離を示す距離データを取得する距離取得手段と、
    前記表示領域サイズデータおよび前記距離データに基づいて、前記仮想空間内における前記仮想カメラの位置および視野角を設定する仮想カメラ設定手段とを備える、画像処理装置。
JP2008228608A 2008-09-05 2008-09-05 画像処理プログラムおよび画像処理装置 Active JP5376874B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008228608A JP5376874B2 (ja) 2008-09-05 2008-09-05 画像処理プログラムおよび画像処理装置
EP08022576A EP2161690A1 (en) 2008-09-05 2008-12-30 Computer readable recording medium recording image processing program and image processing apparatus
US12/352,716 US8223120B2 (en) 2008-09-05 2009-01-13 Computer readable recording medium recording image processing program and image processing apparatus
US13/350,183 US8284158B2 (en) 2008-09-05 2012-01-13 Computer readable recording medium recording image processing program and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008228608A JP5376874B2 (ja) 2008-09-05 2008-09-05 画像処理プログラムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JP2010061545A true JP2010061545A (ja) 2010-03-18
JP5376874B2 JP5376874B2 (ja) 2013-12-25

Family

ID=41259674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008228608A Active JP5376874B2 (ja) 2008-09-05 2008-09-05 画像処理プログラムおよび画像処理装置

Country Status (3)

Country Link
US (2) US8223120B2 (ja)
EP (1) EP2161690A1 (ja)
JP (1) JP5376874B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215920A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2013114570A (ja) * 2011-11-30 2013-06-10 Toshiba Corp 画像再生装置、画像再生方法及びデータ構造
CN104205037A (zh) * 2012-03-23 2014-12-10 微软公司 光导显示和视野
US9684174B2 (en) 2012-02-15 2017-06-20 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9807381B2 (en) 2012-03-14 2017-10-31 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10388073B2 (en) 2012-03-28 2019-08-20 Microsoft Technology Licensing, Llc Augmented reality light guide display
JP2019152903A (ja) * 2018-02-28 2019-09-12 キヤノン株式会社 情報処理装置およびその制御方法
US10478717B2 (en) 2012-04-05 2019-11-19 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964729B2 (ja) * 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
JP5632657B2 (ja) * 2010-06-09 2014-11-26 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法
JP2011258160A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US9192860B2 (en) * 2010-11-08 2015-11-24 Gary S. Shuster Single user multiple presence in multi-user game
KR101805922B1 (ko) * 2011-08-01 2017-12-07 엘지이노텍 주식회사 포인터 이동 값 보정 방법 및 이를 사용하는 3d 포인팅 디바이스
CN104011766B (zh) 2011-12-20 2017-08-11 惠普发展公司,有限责任合伙企业 基于用户位置的图像数据变换
JP2013165366A (ja) * 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化***和方法
KR102226820B1 (ko) * 2014-08-20 2021-03-11 삼성전자주식회사 데이터 공유 방법 및 그 전자 장치
US11423605B2 (en) * 2019-11-01 2022-08-23 Activision Publishing, Inc. Systems and methods for remastering a game space while maintaining the underlying game simulation
US20240173618A1 (en) * 2022-11-30 2024-05-30 Sony Interactive Entertainment Inc. User-customized flat computer simulation controller

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309638A (ja) * 2004-04-20 2005-11-04 Sony Corp サーバ装置、表示装置、表示システム、表示方法及びそのプログラム
JP2007301048A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲーム装置およびゲームプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253051A (en) * 1991-03-05 1993-10-12 Mcmanigal Paul G Video artificial window apparatus
JPH07306955A (ja) * 1992-07-24 1995-11-21 Walt Disney Co:The 三次元イリュージョンを生み出す方法およびシステム
JP2957368B2 (ja) 1993-01-08 1999-10-04 日本電気株式会社 座標入力装置切り替え装置
US5574479A (en) 1994-01-07 1996-11-12 Selectech, Ltd. Optical system for determining the roll orientation of a remote unit relative to a base unit
GB2289756B (en) 1994-05-26 1998-11-11 Alps Electric Co Ltd Space coordinates detecting device and input apparatus using same
DE69730565T2 (de) * 1996-06-26 2005-02-03 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2001149643A (ja) 1999-09-16 2001-06-05 Sony Computer Entertainment Inc 3次元ゲームにおけるオブジェクト表示方法、情報記録媒体およびエンタテインメント装置
US20010030667A1 (en) 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
JP4535604B2 (ja) 2000-11-28 2010-09-01 株式会社バンダイナムコゲームス ゲームシステム及びプログラム
US20020180733A1 (en) * 2001-05-15 2002-12-05 Koninklijke Philips Electronics N.V. Method and apparatus for adjusting an image to compensate for an offset position of a user
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
JP4184182B2 (ja) * 2003-07-22 2008-11-19 任天堂株式会社 ゲームシステムおよびゲームプログラム
WO2005108119A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Free space pointing devices with tilt compensation and improved usability
US7292151B2 (en) 2004-07-29 2007-11-06 Kevin Ferguson Human movement measurement system
JP5075330B2 (ja) * 2005-09-12 2012-11-21 任天堂株式会社 情報処理プログラム
JP5031260B2 (ja) * 2006-05-02 2012-09-19 任天堂株式会社 オブジェクト制御プログラム、オブジェクト制御装置、オブジェクト制御システムおよびオブジェクト制御方法
JP5063990B2 (ja) * 2006-11-15 2012-10-31 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP2008228608A (ja) 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd 微生物採取器具

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309638A (ja) * 2004-04-20 2005-11-04 Sony Corp サーバ装置、表示装置、表示システム、表示方法及びそのプログラム
JP2007301048A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲーム装置およびゲームプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215920A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8556716B2 (en) 2010-03-31 2013-10-15 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
JP2013114570A (ja) * 2011-11-30 2013-06-10 Toshiba Corp 画像再生装置、画像再生方法及びデータ構造
US9684174B2 (en) 2012-02-15 2017-06-20 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9807381B2 (en) 2012-03-14 2017-10-31 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
CN104205037A (zh) * 2012-03-23 2014-12-10 微软公司 光导显示和视野
JP2015518199A (ja) * 2012-03-23 2015-06-25 マイクロソフト コーポレーション 光ガイドディスプレイ及び視野
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US10388073B2 (en) 2012-03-28 2019-08-20 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10478717B2 (en) 2012-04-05 2019-11-19 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
JP2019152903A (ja) * 2018-02-28 2019-09-12 キヤノン株式会社 情報処理装置およびその制御方法
JP7045218B2 (ja) 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
US11409424B2 (en) 2018-02-28 2022-08-09 Canon Kabushiki Kaisha Information processing apparatus, control method, and storage medium for controlling a virtual viewpoint of a virtual viewpoint image

Also Published As

Publication number Publication date
JP5376874B2 (ja) 2013-12-25
EP2161690A1 (en) 2010-03-10
US8284158B2 (en) 2012-10-09
US20100060575A1 (en) 2010-03-11
US20120113004A1 (en) 2012-05-10
US8223120B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
JP5376874B2 (ja) 画像処理プログラムおよび画像処理装置
JP5390093B2 (ja) ゲームプログラムおよびゲーム装置
US8502773B2 (en) Information processing apparatus and computer-readable recording medium recording information processing program
JP5591281B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
JP5692904B2 (ja) 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
JP4964729B2 (ja) 画像処理プログラムおよび画像処理装置
US9751013B2 (en) Storage medium, information processing system, and information processing method for adjusting images based on movement information
JP4919887B2 (ja) 画像処理プログラムおよび画像処理装置
JP2007257198A (ja) 傾き算出装置および傾き算出プログラムならびにゲーム装置およびゲームプログラム
JP5378133B2 (ja) 鳥瞰マップリソース生成プログラム、鳥瞰マップ表示プログラム、鳥瞰マップリソース生成装置、および、鳥瞰マップ表示装置
JP2012141939A (ja) 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP5797046B2 (ja) ポインティングシステム、情報処理システム、座標系等の設定方法、情報処理装置、および情報処理プログラム
JP5259965B2 (ja) 情報処理プログラム、および、情報処理装置
JP2010142404A (ja) ゲームプログラムおよびゲーム装置
JP2011258022A (ja) 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法
JP5274298B2 (ja) 描画処理装置、および、描画処理プログラム
JP2010246768A (ja) 情報処理プログラム、および、情報処理装置
JP5945297B2 (ja) ゲームプログラムおよびゲーム装置
JP5350612B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
JP2008099755A (ja) ゲームプログラムおよびゲーム装置
JP4964688B2 (ja) 画像処理プログラムおよび画像処理装置
JP6262563B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6280390B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2013175208A (ja) 情報処理装置および情報処理プログラム
JP5798601B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110802

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121218

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130924

R150 Certificate of patent or registration of utility model

Ref document number: 5376874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250