JP2012088776A - 画像処理プログラム、装置、システムおよび方法 - Google Patents
画像処理プログラム、装置、システムおよび方法 Download PDFInfo
- Publication number
- JP2012088776A JP2012088776A JP2010232645A JP2010232645A JP2012088776A JP 2012088776 A JP2012088776 A JP 2012088776A JP 2010232645 A JP2010232645 A JP 2010232645A JP 2010232645 A JP2010232645 A JP 2010232645A JP 2012088776 A JP2012088776 A JP 2012088776A
- Authority
- JP
- Japan
- Prior art keywords
- image
- game
- image processing
- face image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 330
- 238000003384 imaging method Methods 0.000 claims abstract description 426
- 238000012545 processing Methods 0.000 claims abstract description 283
- 230000008569 process Effects 0.000 claims abstract description 218
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 238000003860 storage Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 31
- 230000010365 information processing Effects 0.000 description 448
- 238000013500 data storage Methods 0.000 description 125
- 238000009877 rendering Methods 0.000 description 63
- 238000007726 management method Methods 0.000 description 48
- 230000001133 acceleration Effects 0.000 description 38
- 210000003128 head Anatomy 0.000 description 36
- 230000008859 change Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 27
- 238000005266 casting Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 17
- 238000003825 pressing Methods 0.000 description 14
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000004888 barrier function Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 210000003813 thumb Anatomy 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000254173 Coleoptera Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 102220259596 rs146705057 Human genes 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
- A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
- A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6646—Methods for processing data by generating or executing the game program for rendering three dimensional images for the computation and display of the shadow of an object or character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置のコンピュータに、撮像画像を取得する撮像画像取得ステップ、撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、撮像画像に対して所定の画像処理を行うための情報のうち、仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、撮像画像取得ステップで取得された撮像画像に対して、特定ステップで特定された部分を用いて所定の画像処理を行う画像処理ステップ、および画像処理ステップで所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、を実行させるための画像処理プログラムとした。
【選択図】図29
Description
実行させるための画像処理プログラムである。
、および前記画像処理ステップで前記所定の画像処理が行われた撮像画像と前記生成ステップで生成された仮想オブジェクト画像とを合成する合成ステップをさらに前記コンピュータに実行させてもよい。
と前記撮像装置との距離が前記所定の範囲内にあることが判定された場合に、前記撮像対象者の顔画像に含まれる少なくとも1つの特徴点の位置を合わせるための目標位置を前記撮像装置によって繰り返し撮像される前記撮像対象者の顔画像とともに表示装置に表示する表示ステップと、を実行させてもよい。
より、前記第1のキャラクタオブジェクトに含まれる前記顔画像の変形を進行させるステップと、前記ユーザの操作による前記第2のキャラクタオブジェクトへの攻撃により、前記第1のキャラクタオブジェクトに含まれる顔画像が前記取得した元の顔画像に近づくように、前記変形を後退させるステップと、を含んでもよい。
に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップと、を更に実行させてもよい。
以下、本発明に係る一実施形態としての画像処理プログラムを実行する画像処理装置について具体例を挙げて説明する。ただし、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。
まず、図面を参照して、本実施形態に係る画像処理プログラムを実行する画像処理装置の一例として携帯型のゲーム装置10について説明する。ただし、本発明に係る画像処理装置はゲーム装置に限定されるものではない。本発明に係る画像処理装置は、例えば、汎用コンピュータ等、任意のコンピュータシステムであればよい。また、携帯型でなくてもよい。
Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L、アナログスティック15、第1LED16A、および、マイクロフォン用孔18が設けられる。
ために用いられる。
上側LCD22の画面は、上側ハウジング21の内側面(主面)21Bに設けられ、上側ハウジング21の内側面21Bに設けられた開口部から上側LCD22の画面が露出する。また、上側ハウジング21の内側面は、透明なスクリーンカバー27によって覆われている。スクリーンカバー27は、上側LCD22の画面を保護するとともに、上側LCD22と上側ハウジング21の内側面と一体的にさせ、これにより統一感を持たせている。上側LCD22の画素数は、一例として800dot×240dot(横×縦)である。本実施形態では、上側LCD22は液晶表示装置であるとして説明される。ただし、これに限らず、例えば、ELを利用した表示装置などが利用されてもよい。また、上側LCD22として、任意の解像度の表示装置を利用することができる。
レンズは、ズーム機構を有するものでもよい。
ウジング21を薄く構成することが可能となる。
、上述した各構成部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、角速度センサ40、電源回路41、およびインターフェイス回路(I/F回路)42等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(または上側ハウジング21でもよい)内に収納される。
入力状況(押下されたか否か)を示す操作データが出力される。情報処理部31は、操作ボタン14から操作データを取得することによって、操作ボタン14に対する入力に応じた処理を実行する。
次に、ゲーム装置10が実行するゲーム処理の一例の概要を説明する。ゲーム装置10は、ユーザ(以下、プレイヤともいう)の操作にしたがって、内側撮像部24、あるいは、外側撮像部23等を通じて、例えば、人の顔画像を取得して保存することにより、顔画像を収集する機能を提供する。顔画像の収集にあたって、ユーザは、取得した顔画像を用いたゲーム(第1のゲーム)を実行し、そのゲームの結果が成功であった場合に、ユーザは取得した画像を保存することができる。ゲーム装置10は、後述するように、ゲーム処理を実行中にアクセス可能なセーブデータ記憶域Do(図11参照)に、取得した顔画像を保存する。そして、ユーザは、ゲーム装置10に対して同様の操作を繰り返して、複数の顔画像を収集し、セーブデータ記憶域Doに追加し、蓄積することができる。セーブデータ記憶域Doは、ゲーム実行中のゲーム装置10がアクセス可能な領域であるので、取得された顔画像がセーブデータ記憶域Doに保存されることによって、利用可能な状態となる。さらに、ゲーム装置10は、セーブデータ記憶域Doに蓄積したデータを読み出すことにより、第1のゲームの結果として収集した顔画像の一覧を表示する。そして、ゲーム装置10は、表示した顔画像の一覧の中からユーザが選択した顔画像、あるいは、ゲーム装置10が自動的に選択した顔画像を用いてゲーム(第2のゲーム)を実行する。
述のように、ユーザは、第1のゲームで成功することにより、取得した顔画像を保存し、図7のように一覧表示できる。一覧表示される顔画像は、例えば、内側撮像部24、外側左撮像部23a、外側右撮像部23b等によって取得された画像データを人の顔面の3次元モデルにテクスチャマッピングしたものである。例えば、複数のポリゴンを組み合わせて形成した3次元モデルの表面に、画像データがテクスチャとして貼り付けられる。ただし、ゲーム装置10が実行するゲームでは、顔画像は、3次元モデルにテクスチャマッピングされたものに限定される訳ではない。例えば、ゲーム装置10は、単純な2次元画素配列に保持される画像データを顔画像として表示するようにしてもよい。また、図7のように一覧表示された顔画像のうち、いずれか1つ以上が単純な2次元画素配列に保持される顔画像であり、残りが3次元モデルにテクスチャマッピングされた顔画像であってもよい。
像G5と関連がある顔画像が反応している。例えば、顔画像G0の近傍にハートマークが表示され、かつ、顔画像G0が片目を閉じて、選択状態にある顔画像G5に向かって視線を送っている。また、例えば、顔画像G3、顔画像G7なども、選択状態にある顔画像G5に顔を向けて、視線を送っている。
ゲーム装置10は、過去に実行したゲームにおけるユーザの成績から、次に用いる顔画像を選択してもよい。
図11は、画像処理プログラムを実行することに応じて、メインメモリ32に記憶される各種データの一例を示す図である。
画像データDe、敵オブジェクトデータDf、弾オブジェクトデータDg、得点データDh、動きデータDi、仮想カメラデータDj、レンダリング画像データDk、および表示画像データDl、照準カーソル画像データDm、管理データDn、セーブデータ記憶域Do等が格納される。また、メインメモリ32のプログラム記憶領域には、画像処理プログラムを構成する各種プログラム群Paが記憶される。
操作データDaは、ユーザがゲーム装置10を操作した操作情報を示すデータである。操作データDaは、操作子データDa1および角速度データDa2を含んでいる。操作子データDa1は、ユーザがゲーム装置10の操作ボタン14やアナログスティック15等の操作子を操作したことを示すデータである。角速度データDa2は、角速度センサ40によって検出された角速度を示すデータである。例えば、角速度データDa2には、角速度センサ40が検出したx軸周りの角速度を示すx軸周り角速度データ、y軸周りの角速度を示すy軸周り角速度データ、およびz軸周りの角速度を示すz軸周り角速度データが含まれる。例えば、操作ボタン14やアナログスティック15からの操作データや角速度センサ40からの角速度データは、ゲーム装置10が処理する時間単位(例えば、1/60秒)毎に取得され、当該取得に応じて操作子データDa1および角速度データDa2に格納されて更新される。
実カメラ画像データDbは、外側撮像部23および内側撮像部24のいずれかが撮像した実カメラ画像を示すデータである。後述する処理の説明においては、実カメラ画像を取得するステップにおいて外側撮像部23および内側撮像部24のいずれかが撮像した実カメラ画像を用いて、実カメラ画像データDbを更新する態様を用いる。なお、外側撮像部23または内側撮像部24が撮像し、撮像された実カメラ画像を用いて実カメラ画像データDbを更新する周期は、ゲーム装置10における処理の単位時間(例えば、1/60秒)と同じでもいいし、当該単位時間より短い時間でもかまわない。ゲーム装置10における処理の周期より実カメラ画像データDbを更新する周期が短い場合、後述する処理とは独立して適宜実カメラ画像データDbを更新してもかまわない。この場合、後述する実カメラ画像を取得するステップにおいて、実カメラ画像データDbが示す最新の実カメラ画像を常に用いて処理すればよい。以下、本実施形態では、実カメラ画像データDbは、外側撮像部23(例えば、外側左撮像部23a)により撮像した実カメラ画像を示すデータであるとする。
後述するゲーム処理、例えば、図14のステップ18のゲーム実行の処理、さらに具体的には、図20A以降に示す処理では、ゲーム装置10の実カメラ(外側撮像部23または内側撮像部24)が撮像した実カメラ画像をテクスチャマッピングする境界面3が導入される。実世界画像データDcは、ゲーム装置10の実カメラ(外側撮像部23または内側撮像部24)が撮像した実カメラ画像を用いて、境界面3上に存在しているように見え
る実世界画像を生成するためのデータである。後述する第1の描画方法では、例えば、実世界画像データDcは、実世界画像を境界面(仮想カメラの表示範囲のスクリーンオブジェクト)に張り付けるための実カメラ画像のテクスチャデータを含んでいる。また、後述する第2の描画方法では、例えば、実世界画像データDcは、実世界画像を生成するための平面ポリゴンのデータ、当該平面ポリゴンにマッピングするための実カメラ画像のテクスチャデータ、および当該平面ポリゴンの仮想空間上の位置(後述する実世界描画用カメラからの位置)を示すデータ等を含んでいる。
境界面データDdは、上記実世界画像データDcと合わせて、境界面3上に存在しているように見える実世界画像を生成するためのデータである。第1の描画方法では、例えば、境界面データDdは、スクリーンオブジェクトに関するデータであり、境界面3を構成する各点の状態(例えば、開口の有無)を示す開口判定用データ(後述するαテクスチャのデータに相当する)、境界面3の仮想空間上の配置位置(境界面3の仮想空間上の座標)を示すデータ等を含んでいる。また、第2の描画方法では、例えば、境界面データDdは、上記実世界画像の平面ポリゴンに開口を表現するためのデータであり、境界面3を構成する各点の状態(例えば、開口の有無)を示す開口判定用データ(後述するαテクスチャのデータに相当する)、境界面3の仮想空間上の配置位置(境界面3の仮想空間上の座標)を示すデータ等を含んでいる。境界面3の仮想空間上の配置位置を示すデータは、例えば、上記球体表面の条件式(仮想空間上における球体表面を定義する関係式)であり、境界面3の仮想空間上の存在範囲を示す。
ことにより上側LCD22に表示される画像が生成される。
奥壁画像データDeは、第2空間2に存在する奥壁BWに関するデータである。例えば、奥壁画像データDeは、奥壁BWの画像を生成するための画像データ、および当該奥壁BWを定義するポリゴンモデルの仮想空間上の位置を示すデータ等を含んでいる。
き位置を特定しなくても、奥壁BWの画像を描画することができる。なぜなら、繰り返し表現を用いることができる画像であれば、描画される画像は位置に依らない(ポリゴンモデル全体に繰り返しパターンを表現できる)からである。
敵オブジェクトデータDfは、敵オブジェクトEOに関するデータであり、実体データDf1、シルエットデータDf2、および開口形状データDf3を含んでいる。
弾オブジェクトデータDgは、プレイヤの攻撃操作に応じて発射される弾オブジェクトBOに関するデータである。例えば、弾オブジェクトデータDgは、弾オブジェクトBOを描画するためのポリゴンモデル及び弾画像(テクスチャ)データ、弾オブジェクトBOの配置方向や配置位置を示すデータ、および弾オブジェクトBOの移動速度や移動方向(
例えば、移動速度ベクトル)を示すデータ等を含んでいる。なお、本実施形態において、後述する描画の優先度はアルファ値によって定められるため、弾画像データにはアルファ値が定められているものとする。本実施形態では、弾画像データに定められているアルファ値は「1」であるとする。
得点データDhは、敵オブジェクトEOが登場するゲームの得点を示すデータである。例えば、上述のとおり、ゲームの得点は、攻撃操作によって敵オブジェクトEOを退治することによって加点され、敵オブジェクトEOがユーザの位置(つまり、仮想空間上における仮想カメラの配置位置)に到達することによって減点される。
動きデータDiは、実空間におけるゲーム装置10の動きを示すデータである。一例として、ゲーム装置10の動きは、角速度センサ40によって検出された角速度によって算出される。
仮想カメラデータDjは、仮想空間に設置される仮想カメラに関するデータである。第1の描画方法では、例えば、仮想カメラデータDjは、仮想カメラの仮想空間上の配置方向や配置位置を示すデータを含んでいる。また、第2の描画方法では、例えば、仮想カメラデータDjは、実世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータと、仮想世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータのそれぞれを含む。そして、例えば、第1の描画方法における仮想カメラ及び第2の描画方法における仮想世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータは、動きデータDiが示すゲーム装置10の動き(角速度)に応じて変化する。さらに、仮想カメラデータDjは、仮想カメラの画角(撮像範囲)データを含んでいる。これによって、第1の描画方法における仮想カメラ及び第2の描画方法における仮想世界描画用カメラの位置及び向きの変化に応じて、境界面3上の撮像範囲(撮像位置)が変化する。
レンダリング画像データDkは、後述する処理によりレンダリングされた画像に関するデータである。
表示画像データDlは、上側LCD22に表示される表示画像を示すデータである。第1の描画方法では、例えば、上側LCD22に表示される表示画像は、仮想空間のレンダリング処理により生成される。また、第2の描画方法では、例えば、上側LCD22に表示される表示画像は、上記カメラ画像のレンダリング画像データと仮想空間のレンダリング画像データとを後述する方法で合成することによって生成される。
照準カーソル画像データDmは、上側LCD22に表示される照準カーソルALの画像データである。当該画像データは、任意のデータでよい。
管理データDnは、収集した顔画像等、ゲーム装置10が処理するデータ、あるいは、ゲーム装置10が蓄積したデータ等を管理するためのデータである。管理データDnは、例えば、顔画像管理情報Dn1、顔画像属性集計表Dn2等を含む。顔画像管理情報Dn1には、個々の顔画像のデータの記憶先(例えば、メインメモリ32等のアドレス)、顔画像の取得元(例えば、内側撮像部24、外側撮像部23)、顔画像の属性(例えば、顔画像の被写体の性別、年齢等)、顔画像と関連する他の顔画像の情報等が格納される。また、顔画像属性集計表Dn2には、ユーザが現在収集済みの顔画像の属性ごとの収集点数が格納される。例えば、収集した顔画像の被写体を性別、年代等で分類したときの、それぞれの分類ごとの収集実績値が格納される。顔画像管理情報Dn1、顔画像属性集計表Dn2のデータ構造例については後述する。
セーブデータ記憶域Doは、情報処理部31が、ゲームプログラム等の画像処理プログラムを実行するときに、情報処理部31が処理対象とするデータ、情報処理部31が処理した結果のデータ等を保存する領域である。一例としては、本実施形態では、ゲーム装置10が、内側撮像部24、外側撮像部25、無線通信モジュール36、ローカル通信モジュール37等を介して、ゲーム装置10が取得した顔画像のデータが保存される。本実施形態では、例えば、ゲーム装置10が取得した顔画像がメインメモリ32に一時的に記憶された状態で、情報処理部31は第1のゲームを実行する。そして、ユーザの操作にしたがって、ユーザが第1のゲームで成功したと判断されたときに、情報処理部31は、メイ
ンメモリ32に一時的に記憶された顔画像をセーブデータ記憶域Doに保存する。セーブデータ記憶域Doに保存された顔画像は、以降のゲーム処理等で利用可能となる。
図12および図13を参照して、ゲーム装置10内で、顔画像を管理するデータ構造の一例を説明する。
S(オペレーティングシステム)によってファイルシステムが構築されている記憶媒体に顔画像データが格納される場合には、顔画像データのアドレスとして、ファイルシステム中のパス名、ファイル名などを設定するようにしてもよい。
図14から図19により、ゲーム装置10の情報処理部31で実行される画像処理プログラムによる動作例を説明する。まず、ゲーム装置10の電源(電源ボタン14F)がONにされると、CPU311によってブートプログラム(図示せず)が実行され、これにより内蔵メモリまたは外部メモリ45やデータ保存用外部メモリ46に格納されているプログラムがメインメモリ32においてCPU311が実行可能な形式で展開される。ここで、CPU311が実行可能な形式とは、例えば、CPU311の機械命令が所定の処理順で記述され、メインメモリ32の適切なアドレスに配置され、CPU311の機械命令を処理する制御部から読み出し可能な形式をいう。実行可能な形式で展開することを単にロードするともいう。なお、図14〜図19においては、第1の実施形態に直接関連しない処理についての記載を省略する。
述する。一方、ユーザのGUIに対する操作が配役の決定指示でない場合(ステップ15でNoの場合)には、情報処理部31は、制御をステップ17に進める。
31のCPU311は、画像取得手段の一例として、ステップ101の処理を実行する。
(1)情報処理部31は、取得された画像中から顔の輪郭を検出する。顔の輪郭は、目の間隔と、目と口の位置関係とから推定する。すなわち、情報処理部31は、目と口の配置から、標準的な顔の寸法を用いて、顔の輪郭と、背景との境界線を認識する。境界線は、例えば、微分処理(輪郭強調)、平均処理(平滑化演算)等の通常の画像処理を組み合わせることで取得できる。なお、顔の輪郭検出の方法は周知の他の方法でおこなっても構わない。
(2)情報処理部31は、得られた顔画像を拡大または縮小することによって、敵オブジェクトEOの頭部形状の顔面部の寸法に合わせ込む。この処理によれば、ある程度、寸法にばらつきがある顔画像についても、ゲーム装置10で取得し、敵オブジェクトEOに貼り付けることを可能にする。
被写体との距離および撮像部の視軸方向に対する顔の角度の調整が完了したと判断できたときに、情報処理部31が、画像を保存するようにしてもよい。例えば、情報処理部31が、上側LCD22に、被写体の顔画像と重畳して、目の位置と、口の位置合わせの目標位置を示すマークを表示してもよい。そして、撮像部から取得した被写体の両目および口の位置が、両目および口に対応する目標位置のマークから所定の許容差の範囲に収まったときに、情報処理部31が、画像をメモリに保存するようにしてもよい。
域Doに格納されることにより、当該ゲームを実行する情報処理部31は、上側LCD22の画面に、例えば、図7、図8で説明した顔画像の一覧に追加して、新たな顔画像のデータを表示できるようになる。このように、図15の処理によれば、ユーザは、ステップ101で取得した顔画像をゲームのセーブデータ記憶域Doに保存するために、ゲーム(第1のゲーム)を実行する。そのゲームには、例えば、ユーザが現在までにセーブデータ記憶域Doにこれまでに保存された顔画像を用いたキャラクタオブジェクトを登場させることで、ゲーム装置10でゲームを実行するユーザは、実世界の人間関係等を反映しつつ、新たな顔画像を収集し、セーブデータ記憶域Doに追加できるのである。
済みか否かは、例えば、図12に示した顔画像管理情報Dn1により、顔画像の取得先として、内側撮像部24が設定されているレコードがあるか否かによって判定すればよい。また、例えば、ゲーム装置10に、内側撮像部24によるゲーム装置10の持ち主の顔画像をゲーム装置10に登録する機能が設けられている場合には、持ち主の顔画像が登録済みか否かで判定してもよい。
の部分と入れ替えればよい。また、顔の向きを変える場合には、顔画像全体を入れ替えて表示してもよい。また、例えば、目の向きについて、予め、所定の角度、例えば、15度単位で、360度方向に向きを変えるパターンを用意しておいてもよい。そして、選択状態にある顔画像と検索された顔画像のとの位置関係から、角度を決定し、決定した角度に最も近い角度の目のパターンを選択するようにしてもよい。
決定してもよい。
チャートである。この処理では、情報処理部31は、まず、取得画像数を参照し、取得画像の有無を判定する(ステップ1000)。情報処理部31は、取得画像数を、例えば、顔画像管理情報Dn1のレコード数として、メインメモリ32、外部メモリ45、データ保存用外部メモリ46、データ保存用内部メモリ35等に記憶しておけばよい。
処理部31は、図13の顔画像属性集計表Dn2の該当する行の顔画像取得数を更新する。
ここでは、図20A−図40を参照して、顔画像を用いたキャラクタオブジェクトが登場するゲーム処理の一例を説明する。以下の処理は、セーブデータ記憶域Doに蓄積された顔画像を含む敵オブジェクトEOを用いて、例えば、図14のステップ18において、実行される処理である。
界の画像(以下、「実世界画像」と呼ぶ)と、仮想空間を表現した仮想世界画像(本発明に係る「仮想画像」に相当)とを合成して表示する。具体的には、仮想空間を、仮想カメラに近い領域(以下、「手前側領域」と呼ぶ)と、仮想カメラから遠い領域(以下、「奥側領域」と呼ぶ)に区分して、手前側領域に存在する仮想オブジェクトを表す画像を実世界画像の手前に表示し、奥側領域に存在する仮想オブジェクトを実世界画像の背後に表示する。より具体的には、後述するように、手前側領域に存在する仮想オブジェクトを実世界画像よりも優先し、かつ、実世界画像を奥側領域に存在する仮想オブジェクトよりも優先して合成する。
満たされると、ゲームオーバーとなる。
このように本実施形態に係るゲームでは、実画像の背後にも仮想空間(奥側領域)が存在することが感じられ、奥行き感が向上した仮想空間を表すゲーム画面が表示される。なお、実世界画像は、単眼カメラで撮影された状態の通常画像であってもよく、複眼カメラで撮影された状態のステレオ画像であってもよい。
表示される実世界画像が変わる。このようなゲーム装置10の向きの変更(実世界画像変更)は、ゲームのシナリオに従って表示されるオブジェクトが意図的に画面の端に表示されるようにプログラミングすることによって、プレイヤが自然に行うようにすることができる。
(実世界画像の描画)
外側撮像部23で撮像された実世界画像は、仮想空間の手前側領域と奥側領域の境界位置に存在して見えるように合成される。図20Aは、本実施形態における仮想空間の一例を示す。また、図20Bは、本実施形態におけるスクリーンモデルとαテクスチャの関係を示す。第1の描画方法では、実世界画像の表示のため、図20Aに示すように、仮想空間内に仮想カメラの位置を中心とする球体モデル(上述のスクリーンモデル)を設定し、この球体の内面に実世界画像を貼り付け、スクリーンオブジェクトを形成してもよい。より具体的には、スクリーンモデルのうち仮想カメラで撮影される部分の全体にテクスチャとして貼り付けられる。スクリーンモデルのうちこの部分以外については、透明に設定されため画面上で視認されない。この例では、境界面は球体面であり、すなわち、図20Aで示すように、球体の表面により仮想カメラ側が手前側領域(本発明の「第2領域」に相当)であり、球体の表面より仮想カメラからみて遠い側が奥側領域(本発明の「第1領域」に相当)である。
さらに、本実施形態に係るゲームでは、実世界画像に開口を設け、実世界画像の背後の奥側領域の存在をプレイヤに認識させる。より明確に言うと、実世界画像のうちこの開口の部分は、透明または半透明で表示され、その背後にある世界がこの部分に合成される。このため、ゲーム内で、所定のイベントの発生を契機に、実世界画像の一部が開口して(消去されて)、その開口を通して実世界画像の背後に存在する他の仮想空間(奥側領域)を示す画像が表示される。
敵キャラクタが第1空間に進入して来るイベント(敵キャラクタ出現イベント)である。或いは、時間経過に応じて自動的に開口が形成されるようにしてもよい。また、プレイヤの所定のゲーム操作に応じて、開口を修復することができる。例えば、プレイヤは、形成された開口に対して弾を当てることで、開口を小さくする(修復する)こともできる。
画面には、ゲームのシナリオやイベントにより実世界画像に生じた開口(穴)を使って第1空間1と第2空間2とを往来する敵オブジェクトEOの様子が表示される。図22及び図24には、敵オブジェクトEOが境界面3に開口を作って、または、境界面3上に既に存在する開口を通って、第1空間1と第2空間2を行き来する様子が図示されている。
図23〜図26は、上側LCD22に表示されるゲーム画面の一例を示す。以下、各図の表示形態例について説明する。
(2)実世界画像のうち非開口領域については、第2空間2に存在するオブジェクトの影画像と実世界画像の合成画像(例えば影画像が半透明で実世界画像に合成される)
(3)実世界画像のうち開口部領域については第2空間2に存在するオブジェクトの画像(実体画像)が優先的に合成され、さらにその奥に奥壁画像が合成される
ただし、第2空間2に存在する敵オブジェクトEOの移動状態によっては、敵オブジェクトEOが開口領域と非開口領域の両方にまたがって存在する場面がある。つまり、仮想カメラから見た位置において、敵オブジェクトEOが開口のふちに存在する場面がある。図25は、このような、第2空間2に存在する敵オブジェクトEOが、境界面3上に設定された開口のふちに移動した状態を示す。図25において示されるとおり、第2空間2に存在する敵オブジェクトEOについて、仮想カメラから見て、開口を通して第2空間2が視認できる範囲についてはそのままの画像が、開口を通して第2空間2が視認できない範
囲については影ESが、上側LCD22に表示される。
スクリーンオブジェクトは、以下の式で描画される。
(1− 自身のテクスチャの不透明度)」
敵オブジェクトのシルエットモデルは、以下の式で描画される。
なお、敵オブジェクトが描画される場合、その背景はスクリーンオブジェクト(境界面3)であるから、上式において、「背景のマテリアルの不透明度」は「スクリーンオブジェクト(境界面3)のマテリアルの不透明度」である。
次に、図29〜図31、図32A及び図32Bを参照して、ゲーム装置10で実行される本実施形態における画像処理プログラムによる具体的な画像処理の動作例について説明する。図29は、当該画像処理プログラムを実行することによってゲーム装置10が画像処理する動作例の一例を示すフローチャートである。図30は、図29のステップ53で行われる敵オブジェクト関連処理の詳細な動作の一例を示すサブルーチンのフローチャートである。図31は、図29のステップ54で行われる弾オブジェクト関連処理の詳細な動作の一例を示すサブルーチンのフローチャートである。図32A及び図32Bは、図29のステップ57で行われる表示画像の更新処理(第1の描画方法及び第2の描画方法)の詳細な動作の一例を示すサブルーチンのフローチャートである。
次に、図29を参照して、情報処理部31の動作について説明する。まず、ゲーム装置10の電源(電源ボタン14F)がONされると、CPU311によってブートプログラム(図示せず)が実行され、これにより内蔵メモリまたは外部メモリ45やデータ保存用外部メモリ46に格納されているプログラムがメインメモリ32にロードされる。そして、当該ロードされたプログラムが情報処理部31(CPU311)で実行されることによって、図29に示すステップが実行される。なお、図29〜図32Aにおいては、本発明の画像処理に直接関連しない画像処理及びその他周辺の処理についての記載を省略する。
)、次のステップ52に処理を進める。例えば、情報処理部31は、仮想世界画像(仮想空間の画像)を生成するための仮想カメラの初期位置や初期方向を仮想カメラデータDjに設定し、当該仮想カメラが配置される仮想空間の座標軸(例えば、XYZ軸)を設定する。
ェクトEOが境界面3を通過することによりできる境界面3上の開口情報を境界面データDdに登録するための処理である。例えば、第1の描画方法及び第2の描画方法において、情報処理部31は、境界面データDdに含まれる開口判定用データの、敵オブジェクトEOが境界面3を通過する仮想空間上の位置に対応する位置を中心とした領域のアルファ値と開口形状データDf3のアルファ値とを乗算する。開口形状データDf3は、敵オブジェクトEOの配置位置を中心とした、アルファ値「0」が格納されたテクスチャデータである。そのため、当該乗算によって、敵オブジェクトEOの配置位置(敵オブジェクトEOが通過する境界面3上の座標)を中心として開口が生成される領域の開口判定用データのアルファ値は「0」となる。つまり、情報処理部31は、境界面3上に既に開口が存在するか否かを判定することなく、境界面の状態(具体的には開口判定用データ)を更新することができる。なお、敵オブジェクトと境界面の衝突位置に既に開口が存在するか否かを判定するようにしてもよい。そして、開口が存在しない場合には、当該衝突位置に対応する実世界画像が破片となって飛び散るエフェクトを表示してもよい。
領域に接触したか否かを判断する。例えば、情報処理部31は、弾オブジェクトデータDgに含まれる弾オブジェクトBOの配置位置を示すデータと、開口判定用データとを用いて、弾オブジェクトBOが境界面3上の非開口領域に接触したか否かを判定する。
れるようレンダリングされる。そして、上側LCD22上において当該領域に対応する部分には、仮想オブジェクト・奥壁の画像が表示されることになる。
メラ画像のレンダリング画像データを更新する。以下、図35及び図36を用いて実カメラ画像をレンダリングする処理例について説明する。
ように、実カメラ画像データDbの画像の横A及び縦Bのサイズを拡大及び縮小した画像を用いて、テクスチャデータを更新してもよい。また、例えば、実カメラ画像データDbの画像の横A及び縦Bのサイズが、テクスチャデータの横W及び縦Hのサイズよりも大きいとする。この場合、例えば、情報処理部31は、実カメラ画像データDbの画像の所定位置より、W×Hサイズの画像(テクスチャデータの画像)を切り出し、当該テクスチャデータを更新してもよい。また、例えば、実カメラ画像データDbの画像の横A及び縦Bのサイズの少なくともどちらか一方が、テクスチャデータの横W及び縦Hのサイズよりも小さいとする。この場合、例えば、情報処理部31は、実カメラ画像データDbの画像をテクスチャデータのサイズよりも大きくなるように拡大した後、拡大後の画像の所定の位置より、W×Hサイズの画像(テクスチャデータの画像)を切り出し、当該テクスチャデータを更新してもよい。
は、境界面3を透視投影する仮想世界描画用カメラC2のY軸方向の画角をθとした場合に、仮想世界描画用カメラC2の注視点からY軸正方向への表示範囲の長さH/2iとなる位置である。なお、上述したように、Hは上側LCD22の表示画面における縦のドット数であり、iは仮想空間の座標の1単位に対してマッピングするテクスチャのピクセル数である。そして、仮想世界描画用カメラC2の中心からZ=Z0の位置までの距離をD(D>0)とすると、以下の数1が成立する。
tanθ=(H/2i)/D=H/2Di
したがって、境界面3を考慮して、後述する敵オブジェクトEO等を透視投影して仮想世界画像を生成する場合、当該仮想世界画像を生成する仮想世界描画用カメラC2は「Y軸方向の画角θ=tan−1(H/2Di)、アスペクト比=W:H」と設定される。そして、境界面3(具体的には境界面3の状態を示す開口判定用データ)は、仮想世界描画用カメラC2からのビュー座標Z=Z0に配置される。これにより、仮想世界描画用カメラC2による境界面3の視野範囲が大きさW×Hとなる。
より、実世界画像が描画されることになる。
す。なお、情報処理部31は、仮想空間のレンダリング画像データに仮想空間画像が格納されていない場合、カメラ画像のレンダリング画像データに格納される実世界画像をそのまま表示画像データDlに格納すればよい。
以上述べたように、本実施形態に係る画像処理プログラムでは、図15の処理で例示したように、顔画像取得処理で取得された顔画像は、ユーザがゲーム(第1のゲーム)で成功するまでは、ユーザに解放されない。すなわち、ゲームで成功するまでは、ユーザは、取得された顔画像をゲームのセーブデータ記憶域Doに保存できない。また、ユーザは、取得された顔画像を複製、変更、転送等することができない。逆に、ゲーム不成功の状態で、ゲームの再試行をやめると、取得されていた顔画像が廃棄されて、処理が終了する。また、第1のゲームの処理の仕方、例えば、実行モード、あるいは、仕様によっては、第1のゲームの結果が不成功となると、直ちに、顔画像が廃棄されて、処理が終了する。したがって、取得された顔画像が引き渡されるまで、つまり顔画像がセーブデータ記憶域Doに保存されるまで、ユーザは、ゲームに執着し、熱意を持って成功を目指すようになる。すなわち、本実施形態の画像処理プログラムによれば、ユーザが極めて真剣にゲームに取り組むことができる。
では、選択状態にある顔画像と関連の顔画像が反応を示す状態を表現できる。反応は、例えば、選択状態にある顔画像に向かって片目をつぶり、視線を送る、顔を向ける等である。したがって、ゲーム装置10は、ゲーム装置10内に収集した顔画像による仮想現実の世界に、実世界の人間関係、親密さ等に基づく関係を表現できる。その結果、顔画像を収集したユーザに、顔画像による仮想現実の世界への親近感、収集した顔画像に対する親しみ、実世界の人、あるいは生物に対する感情と同様の感情等を引き起こさせることができる。
、キャラクタオブジェクトを生成、実世界の意識を反映したゲームを実行できるのである。
開口を設けることができ、実世界画像の同じ位置に開口を表現することができる。すなわち、本実施形態に係る画像処理プログラムは、実カメラの向きを変えても現実空間の同じ位置に開口が表現されるため、現実空間と非現実空間とが繋がったかのごとくユーザに認識させる画像を生成することができる。
上述した実施例では、情報処理部31は、敵オブジェクトEOを出現させる場合、特に当該敵オブジェクトEOの出現演出処理を実行しないが、当該敵オブジェクトEOの出現演出処理を実行してもよい。図41は、当該出現演出処理の実行例を示す。図41に示されるとおり、当該出現演出処理では、実世界画像の所定範囲が開口として矩形に切り取られ、当該矩形が第2空間2に倒れこみ、生成された開口から敵オブジェクトEOが出現する。情報処理部31は、図18のステップ62における敵オブジェクトデータDfの生成に際して、図41に示されるような敵オブジェクトEOの出現演出処理を行ってもよい。図41における第2空間2に倒れた矩形部分は、実世界画像の所定範囲を切り取ったテクスチャを、当該所定範囲の大きさに対応した平面ポリゴンに貼り付け、当該平面ポリゴンに所定の動作をさせることで実現される。また、図41における開口部分は、上述のとおり、開口判定用データの所定の位置のアルファ値を「0」にすることで実現される。
ータを用いる。そして、情報処理部31は、当該仮想カメラの配置方向に対応する境界面3の位置における開口判定用データのアルファ値を非開口領域に対応するアルファ値「1」とする。これにより、アルファ値が「0」の領域は非開口領域に対応するアルファ値「1」となり、当該開口は修復される。
例によるゲーム装置10の動きを算出では、撮像されたカメラ画像が時系列的に水平方向へ動いた場合、ゲーム装置10の撮影角度が鉛直方向を中心として回転したのか、ゲーム装置10が水平移動したのか、正確な判定が難しいことがある。この場合、情報処理部31は、ゲーム装置10に生じる角速度を用いれば、ゲーム装置10が回転移動したのか水平移動したのかを容易に判定することが可能となる。
以下、図42および図43を参照して、本発明の第2の実施形態に係る画像処理プログラムを実行する画像処理装置について説明する。第1の実施形態では、顔画像取得処理1(図14のステップ10)において、第1のゲームが実行され、ユーザが第1のゲームで成功した場合に、ゲーム装置10は、顔画像取得処理1で取得した画像をセーブデータ記憶域Doに格納することを許容する。そして、ユーザは、第1のゲームに成功すれば、同様の処理で取得した顔画像を順次、セーブデータ記憶域Doに追加していくことができる。そして、ゲーム装置10は、セーブデータ記憶域Doに収集された顔画像から、例えば、ユーザの操作にしたがって、あるいは、自動的に、敵オブジェクトEO等のキャラクタオブジェクトを作成する。そして、ゲーム装置10は、ユーザに対して、ユーザが収集した顔画像を基に作成されたキャラクタオブジェクトを第1のゲーム(図15のステップ106)、あるいは、第2のゲーム(図14のステップ18)等に登場させ、ユーザに、実世界の人間関係等を反映した仮想世界を提供する。したがって、ユーザは、そのような実世界を反映した仮想世界で、例えば、図20A−図26に示したようなゲームを実行し、楽しむことができる。本実施形態では、そのような実世界を反映した仮想世界での他のゲーム処理の例を説明する。本実施形態のゲームも、第1の実施形態と同様、ゲーム装置10の情報処理部31が、メインメモリ32に展開された画像処理プログラムを実行することで、ユーザに提供される。また、本実施形態のゲームは、第1の実施形態のゲームと同様、例えば、図14に示したステップ10による顔画像取得処理1のための第1のゲーム(図15のステップ106)として実行してもよい。また、本実施形態のゲームは、例えば、第2のゲーム(図14に示したステップ18)と同様、顔画像が収集され、ゲームのセーブデータ記憶域Doに蓄積されていることを前提として実行されるようにしてもよい。
配役決定処理で説明した手順にしたがって作成された敵オブジェクトEO1が表示されている。敵オブジェクトEO1の顔面部分には、図18の配役決定処理で選択された顔画像がテクスチャマッピングされて表示されている。なお、敵オブジェクトEO1の顔面部は、必ずしもテクスチャマッピングによって形成しなくてもよく、単に、図9に示した敵オブジェクトEOの頭部形状の周辺部分H13と顔画像とを組み合わせることで、敵オブジェクトEO1を表示するようにしてもよい。そこで、以下では、敵オブジェクトの顔面部分に、顔画像が貼り付けられている、という記述する。
ジェクトである、敵オブジェクトEO2−EO5、EO7等のいずれかは、異なる種類の頭部形状を有するようにしてもよい。なお、すでに述べたように、個々の敵オブジェクトEO1−EO7等を区別しない場合、単に、敵オブジェクトEOという。
果、ユーザには、敵オブジェクトEOを見分ける処理能力、集中力が要求される。したがって、本実施形態のゲーム装置10は、ユーザにゲームを実行するときの緊張感を発生させ、あるいは、顔画像認識に伴う脳の活性化を可能とする。
以下、図44から図45を参照して、本発明の第3の実施形態に係る画像処理プログラムを実行する画像処理装置について説明する。本実施形態のゲームは、第1の実施形態のゲームと同様、例えば、図14に示したステップ10による顔画像取得処理1のための第1のゲーム(図15のステップ106)として実行してもよい。また、本実施形態のゲームは、例えば、第2のゲーム(図14に示したステップ18)と同様、顔画像が収集され、ゲームのセーブデータ記憶域Doに蓄積されていることを前提として実行されるようにしてもよい。
ブジェクトEO11には、敵オブジェクトEO1と同一の顔画像が貼り付けられている。一方、誤認用オブジェクトEO12−EO16の構成は、第2の実施例の場合と同様であり、敵オブジェクトEO1とは異なる顔画像が貼り付けられている。なお、図44の構成は例示であり、寸法が敵オブジェクトEO1よりも小さい敵オブジェクトOE11の数が、1個に限定される訳ではない。
以下、図46および図47を参照して、本発明の第4の実施形態に係る画像処理プログラムを実行する画像処理装置について説明する。本実施形態のゲームは、第1の実施形態のゲームと同様、例えば、図14に示したステップ10による顔画像取得処理1のための第1のゲーム(図15のステップ106)として実行してもよい。また、本実施形態のゲームは、例えば、第2のゲーム(図14に示したステップ18)と同様、顔画像が収集され、ゲームのセーブデータ記憶域Doに蓄積されていることを前提として実行されるようにしてもよい。
示要求操作を検知したときに、顔画像の一覧表を表示するようにしてもよい。また、顔画像の一覧表の表示箇所が、図46のような画面の左側に限定される訳ではない。登場人物欄には、顔画像PS1−PS5等の顔画像が表示されている。
は、ゲームを実行する(ステップ92)。そして、情報処理部31は、ゲームが成功したか否かを判定する(ステップ93)。ゲームが成功した場合には、情報処理部31は、ステップ91の処理でパーツが入れ替えられた顔を、元の撮影された状態の顔に復旧する(ステップ94)。
<ゲーム装置10による顔画像の撮像及び3次元顔オブジェクトの生成>
以下に説明する実施形態では、図1から図6において説明されたゲーム装置10を用いて人物の顔を撮像する例について説明される。また、本実施形態では、撮像された顔画像が顔の3次元形状モデルに貼り付けられて3次元顔オブジェクトが生成される。生成された3次元顔オブジェクトは、例えば、各種ゲームのキャラクタ等として用いられる。この顔の3次元形状モデルを構成する制御点を移動させることにより顔画像の表情を変化させることができる。具体的には、3次元形状モデルの目の周囲を構成する各制御点を移動させることによりウィンクをさせることができるし、口の周囲を構成する各制御点を移動させることにより口を開いた表情を表示することができる。
ることが多い。ただし、見た目に違和感の少ない実存の人物の表情に近いアニメーションを実現するためには、例えば、3次元形状モデルの左右の目と口とが変形する場合には、3次元形状モデルの左右の目と口との位置に左右の目と口との位置が適合する顔画像の取得が望まれる。ゲーム装置10を用いてユーザが自身又は他人の顔画像を撮像する際には、顔の位置調整はゲーム装置10のユーザの手にゆだねられる。そのため、本実施形態において、ゲーム装置10は、違和感の少ない表情をする3次元顔オブジェクトを生成するために、撮像対象人物の顔の位置の調整の誘導を行い、3次元形状モデルに貼り付けるための適正な顔画像の撮像を支援する。
の顔を撮像することもできるし、外側撮像部23を用いて操作者以外の人物の顔を撮像することもできる。すなわち、撮像対象人物は、ゲーム装置10の操作者であってもよいし、操作者以外の人物であってもよい。さらに、撮像対象は、顔認識プログラム70aによって顔と認識されるものであれば、人物に限られず、動物であってもよい。
23、性別情報724、年代情報725、及びユーザ名726を含む。
図52は、ゲーム装置10の顔画像の撮像の誘導から3次元顔オブジェクト生成までの処理のフローの一例を示す図である。本実施形態では、外側撮像部23、又は、内側撮像部24を用いて撮像された画像がゲーム装置10の上側LCD22に出力されるものとする。また、撮像対象人物は、ゲーム装置10の操作者自身、操作者以外の人物、もしくは、写真等の画像を含む。なお、以降、内側撮像部24又は外側撮像部23をまとめて「撮像部」と称する。ただし、「撮像部」と称する場合には、内側撮像部24と外側撮像部23とのうち、起動している方を示していることとする。
。
3次元形状モデル72aの左右の目の中心点及び口の中心点の座標を基準点として定義される。3次元形状モデル72aの左右の目の中心点と口の中心点との位置情報は、例えば、それぞれ、カメラ座標系(図49参照)に変換された座標で記憶されている。例えば、目標範囲は、基準点からX軸方向に±β、Y軸方向に±γの範囲で定義される。また、目標範囲は、基準点からの距離σの範囲として定義されてもよく、本発明の実施において、何れかの定義に限定されるものではない。
ていない場合には(OP8:No)、情報処理部31は、顔認識プログラム70aの実行によって次の顔画像の特徴点が検出されるまで待機し、OP7とOP8の処理を繰り返す。なお、上側LCD22の画面表示は、左右の目と口との目標範囲と誘導メッセージとが表示されたままである。
D22+D32)が最小になるようにしてもよい。
図59は、3次元顔オブジェクトの使用例1を示す図である。図59は、ゲーム装置10に記憶されている3次元顔オブジェクトの一覧画面の一例を示す図である。3次元顔オブジェクトは、それぞれがアプリケーションプログラムによって動作している。図59に示される例において、3次元顔オブジェクトG0は、右目を閉じてウィンクをしている。3次元顔オブジェクトG3は、3次元オブジェクトG5の方に顔を向けている。また、例えば、3次元顔オブジェクトG5が操作者の操作によって選択されると、3次元顔オブジェクトG5の3次元顔オブジェクト情報72bの情報が表示される。例えば、3次元顔オブジェクトG5のユーザ名(図59では「山田さん」)、性別、年代(図59では、「大人の男性顔」)等が表示される。
ゲーム装置10は、左右の目と口とが変形する3次元形状モデル72aに貼り付ける顔画像を撮像するために、(1)撮像対象人物の顔と撮像部との距離の調整を誘導し、(2)撮像対象人物の顔画像中における左右の目と口との位置の調整を誘導する。このように、上記(1)の誘導によって撮像対象人物の左右の目の位置を或る程度調整し、上記(2)の誘導によって、さらに左右の目と口との位置を合わせるための目標位置を表示してゲーム装置10の操作者を誘導できるため、一度に左右の目と口との位置を調整する場合に比較して、ゲーム装置10の操作者は撮像対象者の左右の目と口との位置合わせを容易に行うことができる。また、ゲーム装置10の処理も、一度に左右の目と口との位置を調整する場合に比較して、複雑にならないため、ゲーム装置10に対する負荷も軽くすることができる。また、画像内において、左右の目と口との目標位置に対して、撮像対象人物の左右の目及び口の配置の正確性を向上させることができる。また、このようにして撮像された顔画像は、3次元形状モデル72aに適合するように厳格な条件のもと撮像されているので、3次元形状モデル72aとの位置合わせの精度が向上する。これによって、撮像対象人物の顔を有し、違和感のない自然な表情をするオブジェクトを生成することができ
る。
本実施形態では、上記(1)撮像対象人物の顔と撮像部との距離の調整の誘導が、顔画像の左右の目の中心点間の距離に基づいて行われた。これに代えて、ゲーム装置10は、顔画像の左右の目の中心点と口の中心点とで形成される三角形の面積に基づいて、撮像対象人物の顔と外側撮像部23又は内側撮像部24との距離の調整の誘導を行うことも可能である。この場合には、ゲーム装置10は予め該三角形の面積の許容範囲を保持し、情報処理部31は、顔画像の左右の目の中心点と口の中心点との位置情報から該三角形の面積を求め、該面積が許容範囲内か否かを判定する。該面積が許容範囲の最小値よりも小さければ、情報処理部31は、撮像対象人物の顔を撮像部に近づけるように操作者に促すための誘導メッセージを表示させる。該面積が許容範囲の最大値よりも大きければ、情報処理部31は、撮像対象人物の顔を撮像部から遠ざけるように操作者に促すための誘導メッセージを表示させる。また、誘導メッセージは、上側LCD22や下側LCD12の画面に表示されることに限られず、音声で出力されてもよい。
の特徴点を用いて撮像対象者の顔と撮像装置との位置関係をある程度調整した上で、さらに2つの特徴点と他の1つの特徴点の位置を合わせるための目標位置を表示して情報処理装置又は撮像装置の操作者を誘導できるため、一度に3つの特徴点の位置を調整する場合と比較して、操作者は3つの特徴点の位置合わせを容易に行うことができる。また、人によって、顔における2つの特徴点の間の距離は様々であるが、2つの特徴点の距離が3次元形状モデル72aにおける該2つの特徴点の間の距離になるように顔画像が撮影されるので、どんな人でも該2つの特徴点を3次元形状モデル72aに合わせることができる。また、該2つの特徴点と該他の1つの特徴点との位置関係も人それぞれであるが、撮像部
を傾ける等すれば、該2つの特徴点を3次元形状モデル72aに合わせた状態でさらに該他の1つの特徴点をモデルに合わせることもできる。これによって、撮像対象者がどんな人であっても、3次元形状モデル72aに貼り付けられる顔画像を撮像することができ、撮像対象者の3次元顔オブジェクトを生成することができる。
本実施形態において説明された、顔認識プログラム70a、撮像プログラム70b、及び3次元顔オブジェクト生成プログラム70cによる一連の処理は、ゲーム装置10に限られず、例えば、カメラ付携帯電話端末、デジタルカメラ等の撮像装置と該撮像装置で撮像された画像を表示する表示装置とを備える装置に適用することができる。また、撮像対象人物の顔の位置合わせの誘導処理は、撮像装置及び表示装置と接続又は通信可能なパーソナルコンピュータに適用することもできる。
また、上述した実施例では、上側LCD22には、外側撮像部23または内側撮像部24により取得したカメラ画像CIに基づいた実世界の平面画像(上述した立体視可能な画像とは反対の意味での平面視の画像)が表示されるが、裸眼で立体視可能な画像(立体画像)が表示してもよい。例えば、上述したように、ゲーム装置10は、外側左撮像部23aおよび外側右撮像部23bから取得したカメラ画像を用いた立体視可能な画像(立体画像)を上側LCD22に表示することが可能である。このとき、上側LCD22には、立体画像(実世界画像)の更に背後に存在する世界観をユーザに体験させる画像が表示される。
が可能である。
でもない。また、上述した画像処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。
2…第2空間
3…境界面
10…ゲーム装置
11…下側ハウジング
12…下側LCD
13…タッチパネル
14…操作ボタン
15…アナログスティック
16…LED
17…挿入口
18…マイクロフォン用孔
19…無線スイッチ
21…上側ハウジング
22…上側LCD
23…外側撮像部
23a…外側左撮像部
23b…外側右撮像部
24…内側撮像部
25…3D調整スイッチ
26…3Dインジケータ
27…境界面カバー
28…タッチペン
31…情報処理部
311…CPU
312…GPU
313…VRAM
32…メインメモリ
33…外部メモリI/F
34…データ保存用外部メモリI/F
35…データ保存用内部メモリ
36…無線通信モジュール
37…ローカル通信モジュール
38…RTC
39…加速度センサ
40…角速度センサ
41…電源回路
42…I/F回路
43…マイク
44…スピーカ
45…外部メモリ
46…データ保存用外部メモリ
AL…照準カーソル
BO…弾オブジェクト
CI…カメラ画像
C0…仮想カメラ
C1…実世界描画用カメラ
C2…仮想世界描画用カメラ
EO…敵オブジェクト
ES…影
Claims (18)
- 撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置のコンピュータに、
前記撮像画像を取得する撮像画像取得ステップ、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、
前記撮像画像取得ステップで取得された撮像画像に対して、前記特定ステップで特定された部分を用いて前記所定の画像処理を行う画像処理ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、
を実行させるための画像処理プログラム。 - 前記所定の画像処理を行うための情報は、前記撮像画像の各部分について前記所定の画像処理を行うか否かを示すデータ群により構成される、請求項1に記載の画像処理プログラム。
- 前記所定の画像処理を行うための情報は、前記撮像画像と画素毎に合成される、前記撮像画像の画素毎の透明度を示すデータ群により構成される、
請求項1または2に記載の画像処理プログラム。 - 前記所定の画像処理を行うための情報は、前記仮想空間に設定される所定の領域に対応する、請求項1から3の何れか一項に記載の画像処理プログラム。
- 前記仮想空間に設定される所定の領域は、前記撮像装置が一定の方向に1回転した場合に前記仮想カメラにより撮像される撮像部分に対応する、請求項4に記載の画像処理プログラム。
- 前記仮想空間に配置された仮想オブジェクトを前記仮想カメラで撮影することにより仮想オブジェクト画像を生成する生成ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像と前記生成ステップで生成された仮想オブジェクト画像とを合成する合成ステップをさらに前記コンピュータに実行させる、請求項1から5の何れか一項に記載の画像処理プログラム。 - 前記撮像装置の動きを検出する検出ステップをさらに前記コンピュータに実行させ、
前記仮想カメラ方向決定ステップは、前記検出ステップで検出された動きに連動するように、前記仮想カメラの撮影方向を決定する、請求項1または2に記載の画像処理プログラム。 - 前記撮像画像は、単眼の撮像装置または複眼の撮像装置で撮像された画像である、
請求項1から7のいずれか一項に記載の画像処理プログラム。 - 前記所定の画像処理を行うための情報は、前記仮想空間に配置されるオブジェクトに設定され、
前記仮想空間に配置されるオブジェクトは、該仮想空間を、前記仮想カメラから見て手前側の空間と奥側の空間とに仕切るオブジェクトである、
請求項1から8の何れか一項に記載の画像処理プログラム。 - 前記手前側の空間と奥側の空間とに仕切るオブジェクトには、前記奥側の空間に配置された他のオブジェクトの影が描画される、
請求項9に記載の画像処理プログラム。 - 前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記顔画像が撮像される際に、前記コンピュータに、
前記撮像装置によって撮像された顔画像に基づいて、前記撮像対象者の顔と前記撮像装置との距離が所定の範囲内にあるか否かを判定する判定ステップと、
前記判定ステップにより前記撮像対象者の顔と前記撮像装置との距離が前記所定の範囲内にあることが判定された場合に、前記撮像対象者の顔画像に含まれる少なくとも1つの特徴点の位置を合わせるための目標位置を前記撮像装置によって繰り返し撮像される前記撮像対象者の顔画像とともに表示装置に表示する表示ステップと、
を実行させる、請求項1から10の何れか一項に記載の画像処理プログラム。 - 前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
ゲームの開始時に、前記顔画像を取得して第1記憶領域に一時的に記憶する顔画像取得
ステップと、
前記第1記憶領域に記憶された顔画像を含むキャラクタオブジェクトを作成するステッ
プと、
ユーザの操作を受け付けて、前記顔画像を含むキャラクタオブジェクトに関連するゲームを進行するゲーム処理ステップと、
前記ユーザの操作による前記ゲームでの成功または不成功を判定するステップと、
前記ゲームでの成功が判定された場合に、前記第1記憶領域に記憶された前記顔画像を
、第2記憶領域に蓄積的に保存するステップと、
を更に実行させる、請求項1から11の何れか一項に記載の画像処理プログラム。 - 前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した顔画像を基に第1のキャラクタオブジェクトを作成するステップと、
前記第1のキャラクタオブジェクトとともに、前記第1のキャラクタオブジェクトとは異なる第2のキャラクタオブジェクトを表示してゲームを実行するゲーム処理ステップと、を更に実行させ、
前記ゲーム処理ステップは、
ユーザの操作による前記第1のキャラクタオブジェクトへの攻撃により、前記ゲームでの成功に寄与するステップと、
前記ユーザの操作による前記第2のキャラクタオブジェクトへの攻撃を無効にするステップと、を含む、
請求項1から11の何れか一項に記載の画像処理プログラム。 - 前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した一の顔画像を含む第1のキャラクタオブジェクトを作成するステップと、
前記第1のキャラクタオブジェクトとともに、前記第1のキャラクタオブジェクトよりも寸法の小さい、前記一の顔画像を含む第2のキャラクタオブジェクトと前記第1のキャラクタオブジェクトよりも寸法の小さい、前記一の顔画像以外の顔画像を含む第3のキャラクタオブジェクトとを表示してゲームを実行するゲーム処理ステップと、を更に実行させ、
前記ゲーム処理ステップは、
ユーザの操作による前記第3のキャラクタオブジェクトへの攻撃により、前記第1のキャラクタオブジェクトに含まれる前記顔画像の変形を進行させるステップと、
前記ユーザの操作による前記第2のキャラクタオブジェクトへの攻撃により、前記第1のキャラクタオブジェクトに含まれる顔画像が前記取得した元の顔画像に近づくように、前記変形を後退させるステップと、を含む、
請求項1から11の何れか一項に記載の画像処理プログラム。 - 前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した顔画像を変形させた顔画像を含むキャラクタオブジェクトを作成するステップと、
ユーザの操作を受け付けて、前記顔画像に関連するゲームを進行するゲーム処理ステップと、
前記ユーザの操作による前記ゲームでの成功または不成功を判定するステップと、
前記ゲームの結果が成功であったときに、前記変形させた顔画像が前記取得した元の顔画像に復帰するステップと、
を更に実行させる、請求項1から11の何れか一項に記載の画像処理プログラム。 - 撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する撮像画像取得手段、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定手段、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定手段によって決定された仮想カメラの撮影方向により定まる部分を特定する特定手段、
前記撮像画像取得手段によって取得された撮像画像に対して、前特定手段によって特定された部分を用いて前記所定の画像処理を行う画像処理手段、および
前記画像処理手段によって前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御手段、
を備える画像処理装置。 - 撮像装置と、前記撮像装置によって取得した被写体の撮像画像を含む情報を表示する表示装置と、仮想空間に配置されたオブジェクトを描画するための画像処理装置とを備える画像処理システムであって、
前記画像処理装置が、
前記撮像画像を取得する撮像画像取得手段、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定手段、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定手段によって決定された仮想カメラの撮影方向により定まる部分を特定する特定手段、
前記撮像画像取得手段によって取得された撮像画像に対して、前特定手段によって特定された部分を用いて前記所定の画像処理を行う画像処理手段、および
前記画像処理手段によって前記所定の画像処理が行われた撮像画像を表示装置に表示さ
せる表示制御手段、
を有する、画像処理システム。 - 仮想空間に配置されたオブジェクトを描画するための画像処理方法であって、コンピュータが、
撮像装置によって取得した被写体の撮像画像を取得する撮像画像取得ステップ、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、
前記撮像画像取得ステップで取得された撮像画像に対して、前特定ステップで特定された部分を用いて前記所定の画像処理を行う画像処理ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、
を実行する画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010232645A JP5738569B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、装置、システムおよび方法 |
US13/223,708 US8956227B2 (en) | 2010-10-15 | 2011-09-01 | Storage medium recording image processing program, image processing device, image processing system and image processing method |
EP11180041.3A EP2441504A3 (en) | 2010-10-15 | 2011-09-05 | Storage medium recording image processing program, image processing device, image processing system and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010232645A JP5738569B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、装置、システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012088776A true JP2012088776A (ja) | 2012-05-10 |
JP5738569B2 JP5738569B2 (ja) | 2015-06-24 |
Family
ID=44677613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010232645A Active JP5738569B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、装置、システムおよび方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8956227B2 (ja) |
EP (1) | EP2441504A3 (ja) |
JP (1) | JP5738569B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014210213A (ja) * | 2014-08-21 | 2014-11-13 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、及びビデオゲーム処理プログラム |
JP2015075915A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP2015529911A (ja) * | 2012-09-28 | 2015-10-08 | インテル コーポレイション | 拡張現実情報の決定 |
JP2017118282A (ja) * | 2015-12-23 | 2017-06-29 | 株式会社オプティム | 画像処理システム、画像処理方法、および画像処理プログラム |
JP2019063325A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社カプコン | ゲームプログラム、およびゲーム装置 |
US11000221B2 (en) | 2015-06-05 | 2021-05-11 | Shikuukankoubou Co., Ltd. | Program and system for early detection and prevention of mild dementia |
JPWO2020039568A1 (ja) * | 2018-08-23 | 2021-08-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
WO2023120372A1 (ja) * | 2021-12-21 | 2023-06-29 | 株式会社セガ | プログラム及び情報処理装置 |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5750253B2 (ja) * | 2010-09-28 | 2015-07-15 | 任天堂株式会社 | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 |
JP5682291B2 (ja) * | 2010-12-20 | 2015-03-11 | ソニー株式会社 | 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 |
US9454849B2 (en) * | 2011-11-03 | 2016-09-27 | Microsoft Technology Licensing, Llc | Augmented reality playspaces with adaptive game rules |
US9286723B2 (en) * | 2012-04-04 | 2016-03-15 | Parag Tope | Method and system of discretizing three-dimensional space and objects for two-dimensional representation of space and objects |
US9123135B2 (en) * | 2012-06-14 | 2015-09-01 | Qualcomm Incorporated | Adaptive switching between vision aided INS and vision only pose |
US20210390330A1 (en) * | 2012-12-20 | 2021-12-16 | Sarine Technologies Ltd. | System and method for determining the traceability of gemstones based on gemstone modeling |
TWI486820B (zh) * | 2012-12-28 | 2015-06-01 | Wistron Corp | 用於互動系統之座標轉換方法及電腦系統 |
US9645395B2 (en) | 2013-03-15 | 2017-05-09 | Mark Bolas | Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments |
US9293079B2 (en) | 2013-03-15 | 2016-03-22 | University Of Southern California | Control of ambient and stray lighting in a head mounted display |
US9628783B2 (en) * | 2013-03-15 | 2017-04-18 | University Of Southern California | Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display |
JP5909023B2 (ja) * | 2013-04-05 | 2016-04-26 | グリー株式会社 | オンラインシューティングゲームの提供装置及びその方法 |
JP5603452B1 (ja) * | 2013-04-11 | 2014-10-08 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、及びビデオゲーム処理プログラム |
US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
CN103489107B (zh) * | 2013-08-16 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种制作虚拟试衣模特图像的方法和装置 |
JP6192483B2 (ja) * | 2013-10-18 | 2017-09-06 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US9489765B2 (en) * | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
USD768667S1 (en) * | 2014-02-21 | 2016-10-11 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD755803S1 (en) * | 2014-02-21 | 2016-05-10 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD768188S1 (en) * | 2014-04-08 | 2016-10-04 | Huawei Device Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD756377S1 (en) * | 2014-04-17 | 2016-05-17 | Google Inc. | Portion of a display panel with an animated computer icon |
US9855501B2 (en) | 2014-04-23 | 2018-01-02 | King.Com Ltd. | Opacity method and device therefor |
US9766768B2 (en) * | 2014-04-23 | 2017-09-19 | King.Com Limited | Opacity method and device therefor |
JP6547244B2 (ja) * | 2014-06-30 | 2019-07-24 | カシオ計算機株式会社 | 動作処理装置、動作処理方法及びプログラム |
US9508195B2 (en) * | 2014-09-03 | 2016-11-29 | Microsoft Technology Licensing, Llc | Management of content in a 3D holographic environment |
US11102388B2 (en) | 2014-11-12 | 2021-08-24 | Lenovo (Singapore) Pte. Ltd. | Self portrait image preview and capture techniques |
US9906772B2 (en) * | 2014-11-24 | 2018-02-27 | Mediatek Inc. | Method for performing multi-camera capturing control of an electronic device, and associated apparatus |
CN108369451B (zh) * | 2015-12-18 | 2021-10-29 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
JP2017148145A (ja) * | 2016-02-22 | 2017-08-31 | 株式会社スクウェア・エニックス | ゲームプログラム、コンピュータ装置、ゲーム進行方法、及び、システム |
US10692288B1 (en) * | 2016-06-27 | 2020-06-23 | Lucasfilm Entertainment Company Ltd. | Compositing images for augmented reality |
JP6689694B2 (ja) * | 2016-07-13 | 2020-04-28 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6719308B2 (ja) * | 2016-07-13 | 2020-07-08 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
CN107977071B (zh) * | 2016-10-24 | 2020-02-28 | ***通信有限公司研究院 | 一种适用于空间***的操作方法及装置 |
CN108211342A (zh) * | 2018-01-19 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 视角调整方法和装置、存储介质及电子装置 |
US10546419B2 (en) * | 2018-02-14 | 2020-01-28 | Faro Technologies, Inc. | System and method of on-site documentation enhancement through augmented reality |
CN115842907A (zh) * | 2018-03-27 | 2023-03-24 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
US11727597B2 (en) * | 2018-12-21 | 2023-08-15 | Sony Group Corporation | Calibrating volumetric rig with structured light |
US11228737B2 (en) * | 2019-07-31 | 2022-01-18 | Ricoh Company, Ltd. | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium |
CN110933299B (zh) * | 2019-11-18 | 2022-03-25 | 深圳传音控股股份有限公司 | 一种图像处理方法、装置及计算机存储介质 |
JP7200184B2 (ja) * | 2020-08-28 | 2023-01-06 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
US11354872B2 (en) * | 2020-11-11 | 2022-06-07 | Snap Inc. | Using portrait images in augmented reality components |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US11657578B2 (en) | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
CN113617027B (zh) * | 2021-08-27 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 云游戏的处理方法、装置、设备以及介质 |
US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
CN116320364B (zh) * | 2023-05-25 | 2023-08-01 | 四川中绳矩阵技术发展有限公司 | 一种基于多层显示的虚拟现实拍摄方法及显示方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11104354A (ja) * | 1997-10-01 | 1999-04-20 | Brother Ind Ltd | ゲーム装置 |
JP2000270261A (ja) * | 1999-03-15 | 2000-09-29 | Sanyo Electric Co Ltd | 撮像装置及び画像合成方法並びに記録媒体 |
JP2003143477A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 映像合成装置および方法 |
JP2003281439A (ja) * | 2002-03-25 | 2003-10-03 | Casio Comput Co Ltd | サーバ、ゲーム端末、広告依頼装置およびプログラム |
JP2004230480A (ja) * | 2003-01-28 | 2004-08-19 | Sony Corp | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
JP2004294615A (ja) * | 2003-03-26 | 2004-10-21 | Kokusai Kogyo Co Ltd | 地図情報システム |
JP2006285609A (ja) * | 2005-03-31 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2010068222A (ja) * | 2008-09-10 | 2010-03-25 | Olympus Imaging Corp | 顔検出制御装置、顔検出制御プログラムおよび顔検出制御方法 |
JP2010199883A (ja) * | 2009-02-24 | 2010-09-09 | Nikon Corp | デジタルカメラ |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4710873A (en) * | 1982-07-06 | 1987-12-01 | Marvin Glass & Associates | Video game incorporating digitized images of being into game graphics |
US5553864A (en) * | 1992-05-22 | 1996-09-10 | Sitrick; David H. | User image integration into audiovisual presentation system and methodology |
AR000543A1 (es) * | 1995-12-26 | 1997-07-10 | Prignano Juan Pedro Alfr Volpe | Procedimiento para concretar figuras tridimensionales a partir de cualquier imagen expresada en superficie plana |
US6283858B1 (en) * | 1997-02-25 | 2001-09-04 | Bgk International Incorporated | Method for manipulating images |
JPH11154240A (ja) * | 1997-11-20 | 1999-06-08 | Nintendo Co Ltd | 取込み画像を用いて画像を作成するための画像作成装置 |
US6894686B2 (en) * | 2000-05-16 | 2005-05-17 | Nintendo Co., Ltd. | System and method for automatically editing captured images for inclusion into 3D video game play |
JP2004046793A (ja) * | 2002-05-17 | 2004-02-12 | Nintendo Co Ltd | 画像処理システム |
KR100490726B1 (ko) | 2002-10-17 | 2005-05-24 | 한국전자통신연구원 | 비디오 기반의 사격 게임 장치 및 그 방법 |
AU2003303787A1 (en) * | 2003-01-22 | 2004-08-13 | Nokia Corporation | Image control |
JP3877077B2 (ja) | 2004-08-31 | 2007-02-07 | 任天堂株式会社 | ゲーム装置および画像処理プログラム |
US7479967B2 (en) * | 2005-04-11 | 2009-01-20 | Systems Technology Inc. | System for combining virtual and real-time environments |
US8047915B2 (en) * | 2006-01-11 | 2011-11-01 | Lyle Corporate Development, Inc. | Character for computer game and method |
JP5154775B2 (ja) | 2006-08-18 | 2013-02-27 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
US20080158242A1 (en) * | 2007-01-03 | 2008-07-03 | St Jacques Kimberly | Virtual image preservation |
GB0712690D0 (en) | 2007-06-29 | 2007-08-08 | Imp Innovations Ltd | Imagee processing |
NL1035303C2 (nl) | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
-
2010
- 2010-10-15 JP JP2010232645A patent/JP5738569B2/ja active Active
-
2011
- 2011-09-01 US US13/223,708 patent/US8956227B2/en active Active
- 2011-09-05 EP EP11180041.3A patent/EP2441504A3/en not_active Ceased
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11104354A (ja) * | 1997-10-01 | 1999-04-20 | Brother Ind Ltd | ゲーム装置 |
JP2000270261A (ja) * | 1999-03-15 | 2000-09-29 | Sanyo Electric Co Ltd | 撮像装置及び画像合成方法並びに記録媒体 |
JP2003143477A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 映像合成装置および方法 |
JP2003281439A (ja) * | 2002-03-25 | 2003-10-03 | Casio Comput Co Ltd | サーバ、ゲーム端末、広告依頼装置およびプログラム |
JP2004230480A (ja) * | 2003-01-28 | 2004-08-19 | Sony Corp | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
JP2004294615A (ja) * | 2003-03-26 | 2004-10-21 | Kokusai Kogyo Co Ltd | 地図情報システム |
JP2006285609A (ja) * | 2005-03-31 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2010068222A (ja) * | 2008-09-10 | 2010-03-25 | Olympus Imaging Corp | 顔検出制御装置、顔検出制御プログラムおよび顔検出制御方法 |
JP2010199883A (ja) * | 2009-02-24 | 2010-09-09 | Nikon Corp | デジタルカメラ |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015529911A (ja) * | 2012-09-28 | 2015-10-08 | インテル コーポレイション | 拡張現実情報の決定 |
JP2015075915A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP2014210213A (ja) * | 2014-08-21 | 2014-11-13 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、及びビデオゲーム処理プログラム |
US11000221B2 (en) | 2015-06-05 | 2021-05-11 | Shikuukankoubou Co., Ltd. | Program and system for early detection and prevention of mild dementia |
JP2017118282A (ja) * | 2015-12-23 | 2017-06-29 | 株式会社オプティム | 画像処理システム、画像処理方法、および画像処理プログラム |
JP2019063325A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社カプコン | ゲームプログラム、およびゲーム装置 |
JPWO2020039568A1 (ja) * | 2018-08-23 | 2021-08-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
JP7317024B2 (ja) | 2018-08-23 | 2023-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
WO2023120372A1 (ja) * | 2021-12-21 | 2023-06-29 | 株式会社セガ | プログラム及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2441504A3 (en) | 2013-07-24 |
EP2441504A2 (en) | 2012-04-18 |
JP5738569B2 (ja) | 2015-06-24 |
US20120094754A1 (en) | 2012-04-19 |
US8956227B2 (en) | 2015-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5738569B2 (ja) | 画像処理プログラム、装置、システムおよび方法 | |
JP5827007B2 (ja) | ゲームプログラム、画像処理装置、画像処理システム、および画像処理方法 | |
JP5865357B2 (ja) | アバター・ジェスチャーの表示制限 | |
JP3904562B2 (ja) | 画像表示システム、記録媒体及びプログラム | |
JP5675260B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
JP5627973B2 (ja) | ゲーム処理をするためのプログラム、装置、システムおよび方法 | |
CN105279795B (zh) | 基于3d标记的增强现实*** | |
Xu et al. | Pre-patterns for designing embodied interactions in handheld augmented reality games | |
US20200368625A1 (en) | Simulation system, processing method, and information storage medium | |
JP2012018663A (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
JP5939733B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
JP7144796B2 (ja) | シミュレーションシステム及びプログラム | |
CN108416832A (zh) | 媒体信息的显示方法、装置和存储介质 | |
JP4808802B2 (ja) | ゲームプログラム、ゲーム装置、ゲーム制御方法 | |
JP7160707B2 (ja) | 仮想キャラクタを含む画像を提供するための方法 | |
JP4422695B2 (ja) | 画像表示システム、記録媒体及びプログラム | |
JP7317322B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7412613B1 (ja) | 情報処理システムおよびプログラム | |
JP2012145976A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、表示制御方法 | |
JP2022152443A (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
Lerga Valencia | Merging augmented reality and virtual reality | |
JP2023126796A (ja) | 配信プログラム、およびシステム | |
JP4729604B2 (ja) | 画像表示システム、画像処理システム、記録媒体及びプログラム | |
JP2022090964A (ja) | ゲームプログラム、ゲーム処理方法、及びゲーム装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140813 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150115 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5738569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |