JP2020107251A - Image generation system and program - Google Patents
Image generation system and program Download PDFInfo
- Publication number
- JP2020107251A JP2020107251A JP2018248126A JP2018248126A JP2020107251A JP 2020107251 A JP2020107251 A JP 2020107251A JP 2018248126 A JP2018248126 A JP 2018248126A JP 2018248126 A JP2018248126 A JP 2018248126A JP 2020107251 A JP2020107251 A JP 2020107251A
- Authority
- JP
- Japan
- Prior art keywords
- image
- primitive
- captured image
- texture
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 184
- 238000000034 method Methods 0.000 claims description 143
- 230000008569 process Effects 0.000 claims description 106
- 238000004458 analytical method Methods 0.000 claims description 52
- 230000000694 effects Effects 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 25
- 239000002245 particle Substances 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 102100032404 Cholinesterase Human genes 0.000 description 40
- 101000943274 Homo sapiens Cholinesterase Proteins 0.000 description 40
- 238000002347 injection Methods 0.000 description 28
- 239000007924 injection Substances 0.000 description 28
- 101000799554 Homo sapiens Protein AATF Proteins 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 101000852553 Homo sapiens THO complex subunit 3 Proteins 0.000 description 5
- 102100036406 THO complex subunit 3 Human genes 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 101100464492 Arabidopsis thaliana PME2 gene Proteins 0.000 description 3
- 101150105440 PME1 gene Proteins 0.000 description 3
- 101150096292 Ppme1 gene Proteins 0.000 description 3
- 102100037834 Protein phosphatase methylesterase 1 Human genes 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 101000596743 Homo sapiens Testis-expressed protein 2 Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 102100035105 Testis-expressed protein 2 Human genes 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 101100206191 Arabidopsis thaliana TCP21 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像生成システム及びプログラム等に関する。 The present invention relates to an image generation system, a program, and the like.
近年、撮影画像から３次元モデルを生成するフォトグラメトリ（Photogrammetry）と呼ばれる技術が脚光を浴びている。フォトグラメトリでは、例えば現実世界の物体である対象物を複数の撮影方向から撮影して得られた２次元の撮影画像に基づいて、解析処理を行い、対象物の形状、寸法等を求める。そして求められた形状、寸法等に基づいて、仮想空間に配置可能な３次元モデルを生成する。フォトグラメトリは３Ｄスキャンとも呼ばれる。３Ｄスキャンの従来技術としては例えば特許文献１に開示される技術がある。また複数の撮影方向から対象物を撮影する撮影システムの従来技術としては特許文献２に開示される技術がある。 In recent years, a technique called Photogrammetry, which generates a three-dimensional model from a captured image, has been in the limelight. In photogrammetry, for example, an analysis process is performed based on a two-dimensional photographed image obtained by photographing an object, which is an object in the real world, from a plurality of photographing directions, and the shape, dimensions, etc. of the object are obtained. Then, based on the obtained shape, size, etc., a three-dimensional model that can be arranged in the virtual space is generated. Photogrammetry is also called 3D scanning. As a conventional technique of 3D scanning, there is a technique disclosed in Patent Document 1, for example. Further, as a conventional technique of a photographing system for photographing an object from a plurality of photographing directions, there is a technique disclosed in Patent Document 2.
３Ｄスキャンでは、カメラなどの撮影部により撮影した撮影画像を用いるが、撮影画像の解像度には限界がある。このため、対象物である被写体が精細な形状を有していた場合に、この精細な形状を忠実に再現した３次元モデルを生成することは困難である。また対象物の撮影画像に基づく解析処理は、コンピュータの処理負荷が非常に重いため、例えば対象物を撮影した後、短時間で、対象物に対応する３次元モデルの表示物を、仮想的な３次元空間である仮想空間に出現させることは難しい。 In 3D scanning, a captured image captured by a capturing unit such as a camera is used, but the resolution of the captured image is limited. Therefore, when the subject, which is the object, has a fine shape, it is difficult to generate a three-dimensional model that faithfully reproduces this fine shape. Further, since the analysis processing based on the captured image of the target object has a very heavy processing load on the computer, for example, after the target object is captured, the display object of the three-dimensional model corresponding to the target object can be displayed virtually. It is difficult to make it appear in a virtual space that is a three-dimensional space.
本開示によれば、対象物に対応する表示物を、対象物の形状等を忠実に表現しながら仮想空間に出現させることができる画像生成システム及びプログラム等を提供できる。 According to the present disclosure, it is possible to provide an image generation system, a program, and the like that allow a display object corresponding to an object to appear in a virtual space while faithfully expressing the shape and the like of the object.
本発明の一態様は、撮影部により対象物を複数の撮影方向から撮影することで得られる撮影画像群を取得する取得部と、取得された前記撮影画像群を記憶する記憶部と、移動制御情報に基づいて、仮想空間においてプリミティブを移動させる処理を行う移動処理部と、前記プリミティブの前記移動制御情報に応じて前記撮影画像群から選択された撮影画像に基づいて、前記プリミティブにマッピングするテクスチャを生成するテクスチャ生成部と、前記移動制御情報に応じて変化する前記テクスチャを、前記プリミティブにマッピングして、前記仮想空間において仮想カメラから見える仮想空間画像を生成する画像生成部と、を含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。 One aspect of the present invention includes an acquisition unit that acquires a captured image group obtained by capturing an object from a plurality of imaging directions by a capturing unit, a storage unit that stores the acquired captured image group, and movement control. A movement processing unit that performs processing of moving a primitive in a virtual space based on information, and a texture that is mapped to the primitive based on a captured image selected from the captured image group according to the movement control information of the primitive. An image including a texture generation unit that generates a virtual space image that is viewed from a virtual camera in the virtual space by mapping the texture that changes according to the movement control information to the primitive. Related to the production system. The present invention also relates to a program that causes a computer to function as each of the above-described units, or a computer-readable information storage medium that stores the program.
本発明の一態様によれば、対象物を複数の撮影方向から撮影することで撮影画像群が取得され、この撮影画像群から、プリミティブの移動制御情報に応じた撮影画像が選択される。そして選択された撮影画像に基づき生成されたテクスチャが、移動制御情報に基づき移動するプリミティブにマッピングされる。これにより、移動制御情報に応じて変化するテクスチャが、プリミティブにマッピングされて、仮想空間において仮想カメラから見える仮想空間画像が生成されるようになる。従って、プリミティブの移動制御状態に対応したテクスチャの画像がプリミティブにマッピングされて、対象物に対応する表示物の画像を含む仮想空間画像を生成できるようになる。これにより、対象物に対応する表示物を、対象物の形状等を忠実に表現しながら仮想空間に出現させることができる画像生成システム等の提供が可能になる。 According to one aspect of the present invention, a captured image group is acquired by capturing an image of a target object from a plurality of capturing directions, and a captured image corresponding to primitive movement control information is selected from the captured image group. Then, the texture generated based on the selected captured image is mapped to the primitive that moves based on the movement control information. As a result, the texture that changes according to the movement control information is mapped to the primitive, and the virtual space image that can be viewed from the virtual camera in the virtual space is generated. Therefore, the image of the texture corresponding to the movement control state of the primitive is mapped to the primitive, and the virtual space image including the image of the display object corresponding to the object can be generated. This makes it possible to provide an image generation system or the like that allows a display object corresponding to an object to appear in a virtual space while faithfully expressing the shape or the like of the object.
また本発明の一態様では、前記移動処理部は、前記プリミティブと前記仮想カメラの位置関係が固定された状態で、前記プリミティブ及び前記仮想カメラを前記移動制御情報に応じて移動させる処理を行ってもよい。 Further, in one aspect of the present invention, the movement processing unit performs processing of moving the primitive and the virtual camera according to the movement control information in a state where a positional relationship between the primitive and the virtual camera is fixed. Good.
このようにすれば、プリミティブにテクスチャがマッピングされることにより表示される表示物の画像として、擬似的に３次元画像に見える画像を生成できるようになる。 By doing so, it is possible to generate a pseudo three-dimensional image as an image of the display object displayed by mapping the texture on the primitive.
また本発明の一態様では、前記撮影部は、前記対象物と、前記対象物の背景を撮影し、前記テクスチャ生成部は、前記撮影画像の各ピクセルの色が、前記背景の色に対応する色か否かを判断して、前記背景の色に対応する色のピクセルであると判断された場合には、前記背景の色に対応する色のピクセルを透明にする処理を行うことで、前記テクスチャを生成してもよい。 Further, in one aspect of the present invention, the image capturing unit captures an image of the object and a background of the object, and the texture generation unit causes the color of each pixel of the captured image to correspond to the color of the background. If it is determined that the pixel is a color and the pixel is a color corresponding to the background color, the pixel having a color corresponding to the background color is made transparent, Textures may be generated.
このようにすれば、背景の部分に、仮想空間の他のオブジェクトが表示された適切な仮想空間画像を、簡素で処理負荷が少ない処理により生成できるようになる。 By doing so, it becomes possible to generate an appropriate virtual space image in which other objects in the virtual space are displayed in the background portion by a simple and low processing load process.
また本発明の一態様では、前記テクスチャ生成部は、前記撮影画像群により構成される動画のシーク制御を前記移動制御情報に基づいて行うことで、前記撮影画像群から前記撮影画像を選択し、選択された前記撮影画像に基づいて前記テクスチャを生成してもよい。 Further, in one aspect of the present invention, the texture generation unit selects the captured image from the captured image group by performing seek control of a moving image configured by the captured image group based on the movement control information, The texture may be generated based on the selected captured image.
このようにすれば、撮影画像群により構成される動画のシーク制御を有効活用して、プリミティブの移動制御情報に対応した適切な撮影画像を選択してテクスチャを生成し、プリミティブにマッピングできるようになる。 By doing this, it is possible to effectively utilize the seek control of the moving image configured by the captured image group, select the appropriate captured image corresponding to the movement control information of the primitive, generate the texture, and map it to the primitive. Become.
また本発明の一態様では、前記撮影画像群は、前記対象物に対する前記撮影部の撮影方向の変化が１８０度以上の撮影方向範囲となる画像群であってもよい。 Further, in one aspect of the present invention, the captured image group may be an image group in which a change in the capturing direction of the capturing unit with respect to the object is in a capturing direction range of 180 degrees or more.
このようにすれば、プリミティブが様々な方向に移動した場合にも、これに対応した適切な撮影画像に基づくテクスチャを生成して、プリミティブにマッピングできるようになる。 By doing so, even when the primitive moves in various directions, it is possible to generate a texture based on an appropriate captured image corresponding to the primitive and map it to the primitive.
また本発明の一態様では、前記移動処理部は、前記移動制御情報に応じて前記プリミティブに対する相対的位置関係が変化する第２のプリミティブの移動処理を行い、前記画像生成部は、前記テクスチャがマッピングされた前記プリミティブの画像と、前記第２のプリミティブの画像とを含む画像を、前記仮想空間画像として生成してもよい。 Further, in one aspect of the present invention, the movement processing unit performs movement processing of a second primitive whose relative positional relationship to the primitive changes according to the movement control information, and the image generation unit An image including the mapped image of the primitive and the image of the second primitive may be generated as the virtual space image.
このようにすれば、現実世界の対象物には無いものについて画像を、第２のプリミティブの画像を用いて表示できるようになる。 By doing so, it becomes possible to display an image of an object that does not exist in the real world object using the image of the second primitive.
また本発明の一態様では、前記移動処理部は、前記対象物の分析結果に基づき設定される前記第２のプリミティブの初期配置位置から、前記プリミティブを基準に前記第２のプリミティブを移動させる処理を行ってもよい。 In the aspect of the invention, the movement processing unit may move the second primitive based on the primitive from an initial arrangement position of the second primitive set based on an analysis result of the object. You may go.
このようにすれば、対象物の分析結果に応じた適切な初期配置位置に第２のプリミティブを配置し、移動制御情報に応じてプリミティブが移動した場合に、その移動に連動した適切な位置に、第２のプリミティブによる画像を表示できるようになる。 In this way, the second primitive is placed at an appropriate initial placement position according to the analysis result of the object, and when the primitive is moved according to the movement control information, the second primitive is placed at an appropriate position linked to the movement. , It becomes possible to display the image by the second primitive.
また本発明の一態様では、前記画像生成部は、前記第２のプリミティブの隠面消去処理を、前記移動制御情報に応じて行ってもよい。 Further, in the aspect of the invention, the image generation unit may perform the hidden surface removal processing of the second primitive according to the movement control information.
このように第２のプリミティブの隠面消去処理を行うことで、第２のプリミティブによる画像が仮想カメラから見て非表示になり、適切な仮想空間画像を生成できるようになる。 By performing the hidden surface removal processing of the second primitive in this way, the image of the second primitive is hidden when viewed from the virtual camera, and an appropriate virtual space image can be generated.
また本発明の一態様では、前記第２のプリミティブの画像は、エフェクト画像であってもよい。 Further, in an aspect of the present invention, the image of the second primitive may be an effect image.
このようにすれば、現実世界の対象物には無いエフェクトについての画像を、第２のプリミティブを用いて表示できるようになる。 By doing so, it becomes possible to display an image of an effect that is not present in the real world object using the second primitive.
また本発明の一態様では、前記画像生成部は、前記仮想空間画像として、前記プリミティブの画像と、前記仮想空間に設定される複数のオブジェクトの画像とを含む画像を生成し、生成された前記仮想空間画像に対してポストエフェクト処理を行ってもよい。 Further, in one aspect of the present invention, the image generation unit generates, as the virtual space image, an image including the image of the primitive and images of a plurality of objects set in the virtual space, and the generated image is generated. Post-effect processing may be performed on the virtual space image.
このようなポストエフェクト処理を行うことで、撮影画像群の撮影画像に基づき生成されるキャラクタの画像が、周囲の仮想空間に対して違和感なく溶け込んで見えるような仮想空間画像を生成できるようになる。 By performing such post-effect processing, it becomes possible to generate a virtual space image in which the image of the character generated based on the captured images of the captured image group appears to blend in with the surrounding virtual space without a sense of discomfort. ..
また本発明の一態様では、前記取得部は、他の表示物に対応する他の対象物を複数の撮影方向から撮影することで得られる他の表示物用の撮影画像群を取得し、前記テクスチャ生成部は、他の表示物用の移動制御情報に応じて前記他の表示物用の撮影画像群から選択された撮影画像に基づいて、他の表示物用のテクスチャを生成し、前記画像生成部は、前記他の表示物用の移動制御情報に応じて変化する前記他の表示物用のテクスチャを、他の表示物用のプリミティブにマッピングして、前記仮想空間画像を生成してもよい。 In one aspect of the present invention, the acquisition unit acquires a captured image group for another display object obtained by capturing another target object corresponding to another display object from a plurality of shooting directions, The texture generation unit generates a texture for another display object based on the captured image selected from the captured image group for the other display object according to the movement control information for the other display object, and the image The generation unit maps the texture for the other display object, which changes according to the movement control information for the other display object, to the primitive for the other display object to generate the virtual space image. Good.
このようにすれば、対象物に対応する表示物と同様に、他の表示物についても、あたかも他の表示物に対応する他の対象物が仮想空間に出現したかのように見える仮想空間画像を生成できるようになる。 By doing this, similarly to the display object corresponding to the target object, the virtual space image that looks as if the other target object corresponding to the other display object appears in the virtual space for the other display objects. Will be able to generate.
また本発明の一態様では、前記画像生成部は、前記プリミティブの周囲にパーティクルが表示される画像を、前記仮想空間画像として生成してもよい。 In the aspect of the invention, the image generation unit may generate an image in which particles are displayed around the primitive as the virtual space image.
このようなパーティクルを表示すれば、プリミティブが仮想空間内を移動したときに、周囲に存在するパーティクルが要因となって、３次元の空間感が創出されるようになる。 By displaying such particles, when the primitive moves in the virtual space, the particles existing in the surroundings cause the three-dimensional feeling of space.
また本発明の一態様では、前記撮影部と、前記対象物が配置される配置部と、前記配置部に配置された前記対象物に対する前記撮影部の撮影方向を変化させるための回転移動を行う回転移動機構と、を含んでもよい。 In one aspect of the present invention, the imaging unit, the placement unit in which the object is placed, and the rotational movement for changing the shooting direction of the imaging unit with respect to the object placed in the placement unit are performed. And a rotation moving mechanism.
このような配置部と回転移動機構を設けることで、対象物に対する撮影部の撮影方向が所定角度以上の撮影方向範囲となる撮影画像群を取得できるようになる。 By providing such an arranging section and the rotation moving mechanism, it becomes possible to acquire a photographed image group in which the photographing direction of the photographing section with respect to the object is within a photographing direction range of a predetermined angle or more.
また本発明の一態様では、前記対象物を空中に浮遊させた状態で支持する支持部を含んでもよい。 In addition, according to one aspect of the present invention, a support unit that supports the object in a state of being suspended in the air may be included.
このようにすれば、対象物に対応する表示物とし、空中に浮遊した状態の表示物を仮想空間に出現させることが可能になる。 By doing so, it becomes possible to make the display object corresponding to the target object appear in the virtual space in the state of floating in the air.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。 The present embodiment will be described below. The present embodiment described below does not unduly limit the content of the claims. Moreover, not all of the configurations described in the present embodiment are indispensable configuration requirements.
１．画像生成システム
図１は、本実施形態の画像生成システム（画像生成装置、ゲーム装置、端末装置）の構成例を示すブロック図である。なお、本実施形態の画像生成システムは図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
1. Image Generation System FIG. 1 is a block diagram showing a configuration example of the image generation system (image generation device, game device, terminal device) of the present embodiment. Note that the image generation system of the present embodiment is not limited to the configuration of FIG. 1, and various modifications such as omission of some of its components and addition of other components are possible.
操作部１６０は、プレーヤ（ユーザ）が種々の操作入力情報（入力情報）を入力するためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。 The operation unit 160 is for the player (user) to input various operation input information (input information). The operation unit 160 can be realized by, for example, an operation button, a direction instruction key, a joystick, a lever, a touch panel display, or the like.
撮影部１６２は、対象物の撮影を行うものであり、ＣＣＤやＣＭＯＳセンサなどの画像センサと、フォーカスレンズ等により構成される光学系などにより実現される。撮影部１６２としては、例えばデジタルカメラやビデオカメラなどのカメラを用いることができる。対象物（physical object）は、例えば現実世界の物体であり、撮影部１６２の被写体である。 The image capturing unit 162 captures an image of an object, and is realized by an image sensor such as a CCD or a CMOS sensor and an optical system including a focus lens and the like. As the photographing unit 162, a camera such as a digital camera or a video camera can be used. The physical object is, for example, an object in the real world, and is a subject of the imaging unit 162.
記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、撮影画像情報記憶部１７６、仮想空間情報記憶部１７７、描画バッファ１７８を含む。撮影画像情報記憶部１７６は、撮影部１６２により撮影された撮影画像の情報を記憶する。例えば撮影画像群の情報を記憶する。仮想空間情報記憶部１７７は、３次元のオブジェクト空間である仮想空間についての情報を記憶する。例えば仮想空間に配置されるオブジェクトの情報などを記憶する。描画バッファ１７８は、フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファである。 The storage unit 170 stores various types of information. The storage unit 170 functions as a work area for the processing unit 100 and the communication unit 196. The program and data necessary for executing the program are held in this storage unit 170. The function of the storage unit 170 can be realized by a semiconductor memory (DRAM, VRAM), HDD (hard disk drive), SSD (Solid State Drive), optical disk device, or the like. The storage unit 170 includes a captured image information storage unit 176, a virtual space information storage unit 177, and a drawing buffer 178. The captured image information storage unit 176 stores information on captured images captured by the capturing unit 162. For example, the information of the captured image group is stored. The virtual space information storage unit 177 stores information about the virtual space which is a three-dimensional object space. For example, it stores information about objects arranged in the virtual space. The drawing buffer 178 is a buffer such as a frame buffer or a work buffer that can store image information in pixel units.
情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。 The information storage medium 180 is a computer-readable medium and stores programs and data. The information storage medium 180 can be realized by an optical disk (DVD, BD, CD), HDD, semiconductor memory (ROM), or the like. The processing unit 100 performs various processes of this embodiment based on a program (data) stored in the information storage medium 180. That is, the information storage medium 180 has a program for causing a computer (a device including an input device, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing a computer to execute the process of each unit). Is memorized.
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（Head Mounted Display）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。 The display unit 190 outputs the image generated by the present embodiment, and the function thereof can be realized by an LCD, an organic EL display, a CRT, a touch panel type display, an HMD (Head Mounted Display), or the like. The sound output unit 192 outputs the sound generated by the present embodiment, and its function can be realized by a speaker, headphones, or the like.
Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、プレーヤが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。 The I/F (interface) unit 194 performs interface processing with the portable information storage medium 195, and its function can be realized by an ASIC for I/F processing or the like. The portable information storage medium 195 is used by the player to store various types of information, and is a storage device that retains the storage of such information even when power is not supplied. The portable information storage medium 195 can be realized by an IC card (memory card), a USB memory, a magnetic card, or the like.
通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。 The communication unit 196 communicates with the outside (another device) via a wired or wireless network, and its function is hardware such as a communication ASIC or a communication processor, and communication firmware. Can be realized by
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。 A program (data) for causing a computer to function as each unit of this embodiment is distributed from the information storage medium of the server (host device) to the information storage medium 180 (or the storage unit 170) via the network and the communication unit 196. You may. The use of the information storage medium by such a server can also be included in the scope of the present embodiment.
処理部１００（プロセッサ）は、操作部１６０からの操作入力情報やプログラムなどに基づいて、ゲーム処理、編集処理、取得処理、分析処理、移動処理、テクスチャ生成処理、画像生成処理、或いは音生成処理などを行う。 The processing unit 100 (processor) is based on operation input information from the operation unit 160, a program, and the like, and performs game processing, editing processing, acquisition processing, analysis processing, movement processing, texture generation processing, image generation processing, or sound generation processing. And so on.
処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。 Each process of this embodiment performed by each unit of the processing unit 100 can be realized by a processor (processor including hardware). For example, each process of this embodiment can be realized by a processor that operates based on information such as a program and a memory that stores information such as the program. In the processor, for example, the function of each unit may be realized by individual hardware, or the function of each unit may be realized by integrated hardware. For example, a processor may include hardware, which may include circuits for processing digital signals and/or circuits for processing analog signals. For example, the processor may be configured by one or a plurality of circuit devices (for example, IC) mounted on a circuit board or one or a plurality of circuit elements (for example, resistors and capacitors). The processor may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as GPU (Graphics Processing Unit) or DSP (Digital Signal Processor) can be used. Further, the processor may be a hardware circuit based on ASIC. Further, the processor may include an amplifier circuit, a filter circuit, and the like that process an analog signal. The memory (storage unit 170) may be a semiconductor memory such as SRAM or DRAM, or may be a register. Alternatively, it may be a magnetic storage device such as a hard disk device (HDD) or an optical storage device such as an optical disk device. For example, the memory stores an instruction readable by a computer, and the instruction is executed by the processor, whereby the processing of each unit of the processing unit 100 is realized. The instruction here may be an instruction set forming a program, or an instruction to instruct a hardware circuit of a processor to operate.
処理部１００は、ゲーム処理部１０６、編集処理部１０８、取得部１１０、分析部１１１、移動処理部１１２、テクスチャ生成部１１４、画像生成部１２０、音生成部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。 The processing unit 100 includes a game processing unit 106, an editing processing unit 108, an acquisition unit 110, an analysis unit 111, a movement processing unit 112, a texture generation unit 114, an image generation unit 120, and a sound generation unit 130. As described above, each processing of this embodiment executed by each of these units can be realized by the processor (or the processor and the memory). Various modifications such as omitting a part of these constituent elements (each part) or adding another constituent element are possible.
ゲーム処理部１０６はプレーヤがゲームをプレイするための種々のゲーム処理を行う。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。 The game processing unit 106 performs various game processes for the player to play the game. The game process is, for example, a process of starting the game when the game start condition is satisfied, a process of advancing the started game, a process of ending the game when the game end condition is satisfied, or calculating a game score. Processing etc.
編集処理部１０８は撮影画像をプレーヤが編集するための編集処理を行う。取得部１１０は、撮影部１６２により撮影された撮影画像の取得処理を行う。例えば撮影部１６２から撮影画像の情報を受信したり読み出したりする処理を行う。分析部１１１は、対象物に対する分析処理を行う。例えば対象物の撮影画像に基づいて対象物のシルエット分析などの分析処理を行う。 The edit processing unit 108 performs edit processing for the player to edit the captured image. The acquisition unit 110 performs a process of acquiring a captured image captured by the capturing unit 162. For example, a process of receiving or reading information of a captured image from the image capturing unit 162 is performed. The analysis unit 111 performs analysis processing on an object. For example, analysis processing such as silhouette analysis of the object is performed based on the captured image of the object.
移動処理部１１２は、仮想空間においてプリミティブ等のオブジェクトを移動させる処理を行う。例えば本実施形態では、複数のオブジェクトが配置される仮想空間（オブジェクト空間）の設定処理が行われる。例えば、移動体（人、ロボット、車、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブで構成されるオブジェクト）を仮想空間に配置設定する処理が行われる。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）が決定され、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトが配置される。具体的には、記憶部１７０の仮想空間情報記憶部１７７には、仮想空間情報として、仮想空間でのオブジェクトの位置、回転角度、移動速度、移動方向等の情報であるオブジェクト情報が、オブジェクト番号に対応づけて記憶される。この仮想空間情報であるオブジェクト情報を、例えば各フレーム毎に更新する処理などが行われる。そして移動処理部１１２は、このように設定された仮想空間において、プリミティブ等のオブジェクトを移動させる処理を行う。例えばプリミティブ等のオブジェクトの情報を更新する処理を行う。またオブジェクトを動作させるモーション処理など行う。 The movement processing unit 112 performs processing of moving an object such as a primitive in the virtual space. For example, in the present embodiment, setting processing of a virtual space (object space) in which a plurality of objects are arranged is performed. For example, various types of display objects such as moving objects (people, robots, cars, trains, airplanes, ships, monsters or animals), maps (terrain), buildings, spectator seats, courses (roads), trees, walls, water surfaces, etc. A process of arranging and setting an object (an object composed of a primitive such as a polygon, a free-form surface or a subdivision surface) in a virtual space is performed. That is, the position and rotation angle (synonymous with the direction and direction) of the object in the world coordinate system are determined, and the rotation angle (rotation angle around the X, Y, and Z axes) is determined at that position (X, Y, Z). The object is placed. Specifically, the virtual space information storage unit 177 of the storage unit 170 stores, as virtual space information, object information, which is information such as the position, rotation angle, moving speed, and moving direction of an object in the virtual space, the object number. Is stored in association with. For example, a process of updating the object information, which is the virtual space information, for each frame is performed. Then, the movement processing unit 112 performs processing for moving an object such as a primitive in the virtual space set in this way. For example, a process of updating the information of an object such as a primitive is performed. It also performs motion processing to move objects.
テクスチャ生成部１１４は、プリミティブにマッピングするテクスチャの生成処理を行う。例えば取得部１１０により取得された撮影画像に基づいてテクスチャを生成する処理を行う。 The texture generation unit 114 performs a texture generation process that maps to a primitive. For example, a process of generating a texture is performed based on the captured image acquired by the acquisition unit 110.
画像生成部１２０は、画像の生成処理を行う。例えば処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８に描画する。これにより、仮想空間において仮想カメラから見える仮想空間画像が生成される。なお画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。 The image generation unit 120 performs image generation processing. For example, drawing processing is performed based on the results of various processing performed by the processing unit 100, an image is generated thereby, and the image is displayed on the display unit 190. Specifically, geometry processing such as coordinate conversion (world coordinate conversion, camera coordinate conversion), clipping processing, perspective conversion, or light source processing is performed, and based on the processing result, drawing data (positions of vertices on the primitive surface). Coordinates, texture coordinates, color data, normal vector or α value) are created. Then, based on this drawing data (primitive surface data), the object (one or more primitive surfaces) after perspective conversion (after geometry processing) is drawn in the drawing buffer 178. As a result, a virtual space image viewed from the virtual camera in the virtual space is generated. The drawing process performed by the image generation unit 120 can be realized by a vertex shader process, a pixel shader process, or the like.
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音の生成処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などを生成し、音出力部１９２に出力させる。 The sound generation unit 130 performs a sound generation process based on the results of various processes performed by the processing unit 100. Specifically, a music (music, BGM), a sound effect, a voice, or the like is generated and is output to the sound output unit 192.
そして本実施形態の画像生成システムは、図１に示すように、取得部１１０と記憶部１７０と移動処理部１１２とテクスチャ生成部１１４と画像生成部１２０を含む。 As shown in FIG. 1, the image generation system of this embodiment includes an acquisition unit 110, a storage unit 170, a movement processing unit 112, a texture generation unit 114, and an image generation unit 120.
取得部１１０は、撮影部１６２により対象物を複数の撮影方向から撮影することで得られる撮影画像群を取得する。撮影画像群は、例えばデジタルカメラにより撮影された複数の静止画であってもよいし、デジタルカメラやビデオカメラにより撮影された動画を構成する複数の画像であってもよい。この場合には撮影画像群は例えばＭＰＥＧ等により符号化された動画を構成する画像群になる。即ち撮影画像群はＭＰＥＧ等のムービー映像であってもよい。なお本実施形態の画像生成システムは撮影部１６２を有していなくてもよく、この場合には、取得部１１０は、Ｉ／Ｆ部１９４や通信部１９６を介して撮影画像を取得する。 The acquisition unit 110 acquires a photographed image group obtained by photographing the target object from a plurality of photographing directions by the photographing unit 162. The captured image group may be, for example, a plurality of still images captured by a digital camera, or may be a plurality of images forming a moving image captured by a digital camera or a video camera. In this case, the captured image group becomes an image group forming a moving image encoded by, for example, MPEG. That is, the captured image group may be a movie video such as MPEG. The image generation system according to the present embodiment may not include the image capturing unit 162, and in this case, the acquisition unit 110 acquires the captured image via the I/F unit 194 and the communication unit 196.
記憶部１７０は、取得された撮影画像群を記憶する。例えば取得部１１０が撮影画像群を取得すると、取得された撮影画像群の情報が記憶部１７０に保存されて記憶される。具体的には記憶部１７０の撮影画像情報記憶部１７６が撮影画像群の情報を記憶する。 The storage unit 170 stores the acquired captured image group. For example, when the acquisition unit 110 acquires a captured image group, information on the acquired captured image group is stored and stored in the storage unit 170. Specifically, the captured image information storage unit 176 of the storage unit 170 stores the information of the captured image group.
移動処理部１１２は、移動制御情報に基づいて、仮想空間においてプリミティブを移動させる処理を行う。例えば移動制御情報に基づいて、仮想空間においてプリミティブを並進移動させたり回転移動させる処理を行う。移動制御情報は、プリミティブの移動制御を行うための情報である。移動制御情報としては、例えば操作部１６０などを用いてプレーヤにより入力される操作入力情報を用いることができる。或いはプリミティブの一連の移動を制御する移動制御情報を記憶部１７０に記憶しておき、記憶された移動制御情報を記憶部１７０から読み出すことで、プリミティブの移動制御を行うようにしてもよい。このようにすれば、移動制御情報に応じてプリミティブが自動的に移動するような移動制御を実現できる。これにより、例えば対象物に対応する表示物（例えば魚や動物等）の観賞を可能にするような画像生成システムなどを実現できる。 The movement processing unit 112 performs processing for moving the primitive in the virtual space based on the movement control information. For example, based on the movement control information, a process of translating or rotating the primitive in the virtual space is performed. The movement control information is information for controlling the movement of the primitive. As the movement control information, for example, operation input information input by the player using the operation unit 160 or the like can be used. Alternatively, movement control information for controlling a series of movements of the primitive may be stored in the storage unit 170, and the movement control information may be read from the storage unit 170 to perform the movement control of the primitive. With this, it is possible to realize movement control such that the primitive automatically moves according to the movement control information. Thereby, for example, an image generation system or the like that enables viewing of a display object (for example, a fish or an animal) corresponding to the target object can be realized.
テクスチャ生成部１１４は、プリミティブの移動制御情報に応じて撮影画像群（第１、第２の撮影画像群の一方の撮影画像群）から選択された撮影画像に基づいて、プリミティブにマッピングするテクスチャを生成する処理を行う。例えばプリミティブの移動制御情報に基づいて、撮影画像群（第１、第２の撮影画像群の一方の撮影画像群）から当該移動制御情報に対応する撮影画像を記憶部１７０から読み出す。そしてテクスチャ生成部１１４は、読み出された撮影画像に基づいてテクスチャを生成する。例えば対象物を撮影した撮影画像のうち、対象物の映る部分をテクスチャの画像として生成する。具体的には、撮影画像のうちの背景の画像の部分を透明にし、対象物の画像の部分を切り抜いて、テクスチャを生成する。当該テクスチャをプリミティブにマッピングすることで、対象物に対応する表示物の画像を表示できるようになる。ここでプリミティブは、例えばプリミティブ面であり、例えばポリゴンである。具体的にはプリミティブは、仮想カメラに対して正対して配置されるビルボードポリゴンである。なおプリミティブは、自由曲面やサブディビジョンサーフェイスなどであってもよい。 The texture generation unit 114 creates a texture to be mapped to a primitive based on the captured image selected from the captured image group (one of the first and second captured image groups) according to the primitive movement control information. Perform the process to generate. For example, based on the movement control information of the primitive, a photographed image corresponding to the movement control information is read from the photographed image group (one of the first and second photographed image groups) from the storage unit 170. Then, the texture generation unit 114 generates a texture based on the read captured image. For example, of the photographed image of the object, the part in which the object is reflected is generated as a texture image. Specifically, the background image portion of the captured image is made transparent, and the image portion of the object is cut out to generate a texture. By mapping the texture to the primitive, the image of the display object corresponding to the target object can be displayed. Here, the primitive is, for example, a primitive surface, for example, a polygon. Specifically, the primitive is a billboard polygon arranged to face the virtual camera. The primitive may be a free-form surface or a subdivision surface.
画像生成部１２０は、移動制御情報に応じて変化するテクスチャを、プリミティブにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する。例えば移動制御情報に応じて撮影画像群から選択された撮影画像に基づくテクスチャを、プリミティブにマッピングすることで、プリミティブにマッピングされるテクスチャが、プリミティブの移動制御情報に応じて変化するようになる。即ち対象物を複数の撮影方向から撮影することで得られた撮影画像群の中から、プリミティブの移動制御状態に適合した撮影画像を選択し、選択された撮影画像に基づき生成されたテクスチャを、プリミティブにマッピングする。このようにすることで、プリミティブの移動制御の状態に応じたテクスチャの画像がプリミティブにマッピングされて、対象物に対応する表示物が表示された仮想空間画像を生成できるようになる。 The image generation unit 120 maps a texture that changes according to the movement control information to a primitive, and generates a virtual space image viewed from the virtual camera in the virtual space. For example, by mapping the texture based on the captured image selected from the captured image group according to the movement control information to the primitive, the texture mapped to the primitive changes according to the movement control information of the primitive. That is, from the captured image group obtained by capturing the target object from a plurality of capturing directions, select a captured image suitable for the movement control state of the primitive, the texture generated based on the selected captured image, Map to a primitive. By doing so, the image of the texture corresponding to the movement control state of the primitive is mapped to the primitive, and the virtual space image in which the display object corresponding to the target object is displayed can be generated.
また移動処理部１１２は、プリミティブと仮想カメラの位置関係が固定された状態で、プリミティブ及び仮想カメラを移動制御情報に応じて移動させる処理を行う。例えばプリミティブと仮想カメラとの距離が一定距離になるようにプリミティブと仮想カメラの位置関係を固定する。一例としては、プリミティブが仮想カメラと正対し、且つ、プリミティブと仮想カメラとの距離が一定距離になるようにプリミティブと仮想カメラの位置関係を固定する。プリミティブが仮想カメラに正対する状態は、例えば仮想カメラの視線方向がプリミティブの面に直交する状態である。そして移動処理部１１２は、このようにプリミティブと仮想カメラの位置関係が固定された状態で、プリミティブ及び仮想カメラを一体にして移動させる処理を行う。例えば仮想空間において上、下、左又は右に並進移動させる移動制御情報である場合には、移動処理部１１２は、プリミティブ及び仮想カメラを上、下、左又は右に並進移動させる処理を行う。或いは、仮想空間においてＸ軸、Ｙ軸又はＺ軸回りに回転移動させる移動制御情報である場合には、移動処理部１１２は、プリミティブ及び仮想カメラをＸ軸、Ｙ軸又はＺ軸回りに回転移動させる処理を行う。 Further, the movement processing unit 112 performs a process of moving the primitive and the virtual camera according to the movement control information while the positional relationship between the primitive and the virtual camera is fixed. For example, the positional relationship between the primitive and the virtual camera is fixed so that the distance between the primitive and the virtual camera is constant. As an example, the primitive is directly opposed to the virtual camera, and the positional relationship between the primitive and the virtual camera is fixed so that the distance between the primitive and the virtual camera is a constant distance. The state in which the primitive faces the virtual camera is, for example, a state in which the line-of-sight direction of the virtual camera is orthogonal to the surface of the primitive. Then, the movement processing unit 112 performs a process of integrally moving the primitive and the virtual camera with the positional relationship between the primitive and the virtual camera being fixed. For example, in the case of movement control information for translational movement up, down, left, or right in the virtual space, the movement processing unit 112 performs processing for translationally moving the primitive and the virtual camera up, down, left, or right. Alternatively, in the case of movement control information for rotationally moving around the X axis, Y axis, or Z axis in the virtual space, the movement processing unit 112 rotationally moves the primitive and the virtual camera around the X axis, Y axis, or Z axis. Perform processing to
また撮影部１６２は、対象物と、対象物の背景を撮影する。撮影部１６２は画像生成システムが有するものであってもよいし、画像生成システムとは別個に設けられるものであってもよい。テクスチャ生成部１１４は、撮影画像の各ピクセルの色が、背景の色に対応する色か否かを判断する。そして背景の色に対応する色のピクセルであると判断された場合には、背景の色に対応する色のピクセルを透明にする処理を行うことで、テクスチャを生成する。例えばテクスチャ生成部１１４は、撮影画像の各ピクセル毎に、各ピクセルの色が背景に対応する色か否かを判断する。例えば撮影部１６２により対象物を撮影する際に、背景の色が緑又は青等の所定色に設定される。例えば対象物の色とは異なる所定色に、背景の色が設定される。例えば対象物が複数の色を有する場合には、これらの複数の色のいずれとも異なる所定色に、背景の色が設定される。例えば撮影時において対象物の周囲に配置される背景物が所定色に設定される。背景の色は、対象物の色と補色の関係の色に設定されていることが望ましい。そしてテクスチャ生成部１１４は、処理対象となるピクセルが、背景に対応する色（例えば緑又は青等）のピクセルであると判断された場合には、当該ピクセルを透明にする処理を行う。例えば半透明処理であるα合成において、当該ピクセルのα値を０に設定することで、当該ピクセルを透明なピクセルにする。なお以上のようなピクセル毎の処理はピクセルシェーダなどにより実現できる。 Further, the image capturing unit 162 captures an object and a background of the object. The image capturing unit 162 may be included in the image generating system or may be provided separately from the image generating system. The texture generation unit 114 determines whether the color of each pixel of the captured image is a color corresponding to the background color. If it is determined that the pixel has a color corresponding to the background color, the pixel having the color corresponding to the background color is made transparent to generate a texture. For example, the texture generation unit 114 determines, for each pixel of the captured image, whether the color of each pixel is a color corresponding to the background. For example, when the object is photographed by the photographing unit 162, the background color is set to a predetermined color such as green or blue. For example, the background color is set to a predetermined color different from the color of the object. For example, when the target object has a plurality of colors, the background color is set to a predetermined color different from any of the plurality of colors. For example, the background object arranged around the object at the time of shooting is set to a predetermined color. It is desirable that the background color is set to a color having a complementary color relationship with the color of the object. Then, when it is determined that the pixel to be processed is a pixel of a color corresponding to the background (for example, green or blue), the texture generation unit 114 performs a process of making the pixel transparent. For example, in α synthesis, which is a semi-transparent process, by setting the α value of the pixel to 0, the pixel becomes a transparent pixel. Note that the above-described processing for each pixel can be realized by a pixel shader or the like.
またテクスチャ生成部１１４は、撮影画像群により構成される動画のシーク制御を移動制御情報に基づいて行うことで、撮影画像群から撮影画像を選択し、選択された撮影画像に基づいてテクスチャを生成する。例えば撮影画像群の動画（ムービー）の早送りや巻き戻しのシーク制御を行い、移動制御情報に対応する撮影画像をシークして選択する。そして選択された撮影画像に基づいてテクスチャを生成する。このようにして生成されたテクスチャが、移動制御情報に応じて並進移動や回転移動するプリミティブにマッピングされる。 Further, the texture generation unit 114 selects a captured image from the captured image group by performing seek control of a moving image configured by the captured image group based on the movement control information, and generates a texture based on the selected captured image. To do. For example, the seek control for fast-forwarding and rewinding a moving image (movie) of the captured image group is performed, and the captured image corresponding to the movement control information is sought and selected. Then, a texture is generated based on the selected captured image. The texture generated in this way is mapped to the primitive that moves in translation or rotates according to the movement control information.
また撮影画像群（第１、第２の撮影画像群）は、対象物に対する撮影部１６２の撮影方向の変化が１８０度以上の撮影方向範囲となる画像群である。望ましくは後述の図９に示すように、撮影画像群は、対象物に対する撮影部１６２の撮影方向の変化が３６０度の撮影方向範囲となる画像群である。例えば撮影部１６２の撮影方向は対象物の方に向いており、対象物を注視する方向に撮影方向が設定されている。撮影方向範囲は、対象物を注視した状態で撮影方向の角度が０度〜βと変化する範囲である。そして本実施形態ではβが１８０度以上に設定されており、望ましくは図９に示すようにβ＝３６０度になっている。 The photographed image group (first and second photographed image groups) is an image group in which the change in the photographing direction of the photographing unit 162 with respect to the object is in the photographing direction range of 180 degrees or more. Desirably, as shown in FIG. 9 described later, the captured image group is an image group in which the change in the capturing direction of the capturing unit 162 with respect to the target object is in the capturing direction range of 360 degrees. For example, the image capturing direction of the image capturing unit 162 is toward the object, and the image capturing direction is set to the direction of gazing at the object. The shooting direction range is a range in which the angle of the shooting direction changes from 0 degree to β in a state where the object is gazed at. In the present embodiment, β is set to 180 degrees or more, and preferably β=360 degrees as shown in FIG.
また移動処理部１１２は、移動制御情報に応じてプリミティブに対する相対的位置関係が変化する第２のプリミティブの移動処理を行う。例えばプリミティブを基準にして第２のプリミティブを回転移動するなどの移動処理を行う。そして画像生成部１２０は、テクスチャがマッピングされたプリミティブの画像と、第２のプリミティブの画像とを含む画像を、仮想空間画像として生成する。例えばプリミティブは、対象物に対応する表示物の画像を表示するためのものであり、当該プリミティブには、対象物の撮影画像に基づくテクスチャがマッピングされる。一方、第２のプリミティブは、例えば対象物に対応する表示物の付随物の画像を表示するためのものである。付随物は、例えば表示物のエフェクト、所持品、装飾品、装備品、武器又は防具などの表示物であり、第２のプリミティブの画像は、表示物のエフェクト、所持品、装飾品、装備品、武器又は防具などの画像になる。第２のプリミティブは、例えばビルボードポリゴン等のポリゴンであってもよいし、自由曲面やサブディビジョンサーフェイスなどであってもよい。或いは第２のプリミティブは、表示物の付随物を表す３次元オブジェクトを構成するものであってもよい。このような第２のプリミティブを用いれば、現実世界の対象物には無いエフェクト、所持品、装飾品、装備品、武器又は防具等の画像を、対象物に対応する表示物に付加して表示できるようになる。 Further, the movement processing unit 112 performs movement processing of the second primitive whose relative positional relationship with the primitive changes according to the movement control information. For example, movement processing such as rotational movement of the second primitive based on the primitive is performed. Then, the image generating unit 120 generates an image including the primitive image to which the texture is mapped and the second primitive image as a virtual space image. For example, the primitive is for displaying an image of a display object corresponding to the object, and a texture based on a captured image of the object is mapped to the primitive. On the other hand, the second primitive is, for example, for displaying an image of an incidental object of a display object corresponding to the target object. The accessory is a display object such as an effect of display object, a possession item, a decoration item, an accessory item, a weapon or an armor, and the second primitive image is an effect of the display item item, an inventory item, an accessory item, or an accessory item. , Images of weapons or armor. The second primitive may be a polygon such as a billboard polygon, a free-form surface, a subdivision surface, or the like. Alternatively, the second primitive may constitute a three-dimensional object that represents an incidental matter of the display object. By using such a second primitive, images such as effects, possessions, ornaments, equipment, weapons or armor that are not present in the real world object are added to the display object corresponding to the object and displayed. become able to.
また移動処理部１１２は、対象物の分析結果に基づき設定される第２のプリミティブの初期配置位置から、プリミティブを基準に第２のプリミティブを移動させる処理を行う。例えば初期配置位置からプリミティブを基準に第２のプリミティブを移動させる処理を、移動制御情報に基づいて行う。例えば分析部１１１が、現実世界の物体である対象物の分析処理を行う。例えば分析部１１１は、対象物のシルエット分析等の分析処理を行って、対象物の種類や形状等を特定する。そして移動処理部１１２は、対象物の種類や形状等に応じた初期配置位置に、第２のプリミティブを配置し、当該初期配置位置から、プリミティブを基準に第２のプリミティブを回転移動したり並進移動させる処理を行う。例えば対象物が第１の種類や第１の形状である場合には、第１の初期配置位置に第２のプリミティブを配置して移動処理を行い、対象物が第２の種類や第２の形状である場合には、第２の初期配置位置に第２のプリミティブを配置して移動処理を行う。 Further, the movement processing unit 112 performs a process of moving the second primitive based on the primitive from the initial arrangement position of the second primitive set based on the analysis result of the object. For example, the process of moving the second primitive from the initial arrangement position based on the primitive is performed based on the movement control information. For example, the analysis unit 111 performs an analysis process of an object that is an object in the real world. For example, the analysis unit 111 performs analysis processing such as silhouette analysis of the target object to identify the type, shape, etc. of the target object. Then, the movement processing unit 112 arranges the second primitive at an initial arrangement position according to the type and shape of the target object, and rotationally moves or translates the second primitive based on the primitive from the initial arrangement position. Perform processing to move. For example, when the object is the first type or the first shape, the second primitive is arranged at the first initial arrangement position to perform the movement process, and the object is the second type or the second shape. If the shape is a shape, the second primitive is arranged at the second initial arrangement position and the movement processing is performed.
また画像生成部１２０は、第２のプリミティブの隠面消去処理を、移動制御情報に応じて行う。即ち第２のプリミティブは、移動制御情報に応じてプリミティブに対する相対的位置関係が変化するように回転移動したり、並進移動する。そしてプリミティブにより表される表示物に対して、第２のプリミティブにより表される付随物が、仮想カメラから見て隠れる位置に来たと移動制御情報に基づき判断された場合に、第２のプリミティブの隠面消去処理を行う。そしてあたかも、プリミティブにより表される表示物によって、第２のプリミティブにより表される付随物が隠れて見えるようにする隠面消去処理を行う。このようにすることで表示物とその付随物の画像を矛盾なく表示することが可能になる。 Further, the image generation unit 120 performs the hidden surface removal processing of the second primitive according to the movement control information. That is, the second primitive rotates or translates so that the relative positional relationship with respect to the primitive changes according to the movement control information. When it is determined based on the movement control information that the incidental object represented by the second primitive has come to a position hidden by the virtual camera with respect to the display object represented by the primitive, the second primitive Perform hidden surface removal processing. Then, as if by the display object represented by the primitive, the hidden surface erasing process is performed so that the attendant represented by the second primitive is hidden. By doing so, it becomes possible to display the image of the display object and the image of the accompanying object without contradiction.
また第２のプリミティブの画像は、例えばエフェクト画像である。例えば第２のプリミティブの画像は、光、炎、煙、噴射、点滅、爆発、武器攻撃又は魔法攻撃などを表す特殊なグラフィックであるエフェクト（ゲームエフェクト）の画像である。このように第２のプリミティブの画像としてエフェクトの画像を用いれば、現実世界の対象物では発生できないエフェクトを、ゲーム空間である仮想空間内において発生できるようになる。 The image of the second primitive is, for example, an effect image. For example, the image of the second primitive is an image of an effect (game effect) that is a special graphic representing light, flame, smoke, jet, blink, explosion, weapon attack, magic attack, or the like. By using the effect image as the second primitive image in this way, it becomes possible to generate an effect that cannot be generated in the object in the real world in the virtual space that is the game space.
また画像生成部１２０は、仮想空間画像として、プリミティブの画像と、仮想空間に設定される複数のオブジェクトの画像とを含む画像を生成する。そして生成された仮想空間画像に対してポストエフェクト処理を行う。例えばぼかし処理、明るさの調整処理又は色相の調整処理などのポストエフェクト処理を行う。具体的には画像生成部１２０は、他のオブジェクトが表示される仮想空間画像に対して、プリミティブにより表される表示物が違和感なく表示されるようにするポストエフェクト処理を行う。例えばプリミティブにより表される表示物の輪郭をぼかすようなポストエフェクト処理を行って、表示物と仮想空間画像の境界である輪郭が目立たなくなるようにする。また表示物の明るさと、周囲の仮想空間画像の明るさに差があった場合に、画像生成部１２０は、この差を小さくするようなポストエフェクト処理を行う。例えばプリミティブにマッピングされるテクスチャは、現実世界において対象物を撮影することで得られる撮影画像に基づき生成されている。このため、撮影環境に応じてテクスチャの画像の明るさも変動し、表示物の画像の明るさと、表示物の周囲の仮想空間画像の明るさとの間に差が生じてしまうが、この明るさの差を低減するようなポストエフェクト処理を画像生成部１２０が行う。 The image generation unit 120 also generates, as the virtual space image, an image including a primitive image and images of a plurality of objects set in the virtual space. Then, post-effect processing is performed on the generated virtual space image. For example, post-effect processing such as blurring processing, brightness adjustment processing, or hue adjustment processing is performed. Specifically, the image generation unit 120 performs post-effect processing on the virtual space image on which another object is displayed so that the display object represented by the primitive is displayed without a feeling of strangeness. For example, a post-effect process that blurs the outline of the display object represented by the primitive is performed to make the outline, which is the boundary between the display object and the virtual space image, inconspicuous. Further, when there is a difference between the brightness of the display object and the brightness of the surrounding virtual space image, the image generation unit 120 performs post effect processing to reduce this difference. For example, the texture mapped to the primitive is generated based on a captured image obtained by capturing an object in the real world. Therefore, the brightness of the image of the texture also changes according to the shooting environment, and there is a difference between the brightness of the image of the display object and the brightness of the virtual space image around the display object. The image generation unit 120 performs post-effect processing that reduces the difference.
また取得部１１０は、他の表示物に対応する他の対象物を複数の撮影方向から撮影することで得られる他の表示物用の撮影画像群を取得する。即ち、プリミティブに対応する表示物とは異なる他の表示物に対応する他の対象物を撮影した他の表示物用の撮影画像群を取得する。例えばプリミティブにより表される表示物がキャラクタであった場合に、他の表示物は、例えば当該キャラクタと戦う敵キャラクタなどである。そしてテクスチャ生成部１１４は、他の表示物用の移動制御情報に応じて他の表示物用の撮影画像群から選択された撮影画像に基づいて、他の表示物用のテクスチャを生成する。そして画像生成部１２０は、他の表示物用の移動制御情報に応じて変化する他の表示物用のテクスチャを、他の表示物用のプリミティブにマッピングして、仮想空間画像を生成する。例えば移動処理部１１２は、他の表示物用の移動制御情報に応じて、他の表示物用のプリミティブを仮想空間において移動させる処理を行う。そして、このように移動する他の表示物用のプリミティブに対して、他の表示物用の移動制御情報に応じて変化する他の表示物用のテクスチャをマッピングする。これにより、例えば敵キャラクタなどの他の表示物のリアルな画像を、少ない処理負荷で生成することが可能になる。 The acquisition unit 110 also acquires a captured image group for another display object obtained by capturing another target object corresponding to the other display object from a plurality of shooting directions. That is, a captured image group for another display object obtained by capturing another object corresponding to another display object different from the display object corresponding to the primitive is acquired. For example, when the display object represented by the primitive is a character, the other display object is, for example, an enemy character that fights the character. Then, the texture generation unit 114 generates a texture for another display object based on the captured image selected from the captured image group for another display object according to the movement control information for the other display object. Then, the image generation unit 120 maps the texture for the other display object, which changes according to the movement control information for the other display object, to the primitive for the other display object to generate the virtual space image. For example, the movement processing unit 112 performs a process of moving a primitive for another display object in the virtual space according to movement control information for another display object. Then, the texture for another display object that changes in accordance with the movement control information for another display object is mapped to the primitive for another display object that moves in this way. This makes it possible to generate a realistic image of another display object such as an enemy character with a small processing load.
また画像生成部１２０は、プリミティブの周囲にパーティクルが表示される画像を、仮想空間画像として生成する。例えば仮想空間において、プリミティブの周囲にパーティクルが配置されるようにパーティクルを発生して、仮想空間画像を生成する。例えば画像生成部１２０は、パーティクルを発生させるエフェクト処理（ポストエフェクト処理）を行う。このようにプリミティブの周囲にパーティクルが存在することで、プリミティブに対応する表示物が、仮想空間内において違和感なく移動する仮想空間画像を生成できるようになる。 The image generation unit 120 also generates an image in which particles are displayed around the primitive as a virtual space image. For example, in a virtual space, particles are generated so that particles are arranged around a primitive, and a virtual space image is generated. For example, the image generation unit 120 performs effect processing (post-effect processing) for generating particles. Since the particles are present around the primitive in this way, the display object corresponding to the primitive can generate a virtual space image in which the display object moves in the virtual space without a feeling of strangeness.
また本実施形態の画像生成システムは、後述の図１８に示すように、カメラ等の撮影部１６２と、対象物ＰＯＢが配置される配置部１０（載置部）と、回転移動機構１２を含むことができる。回転移動機構１２は、配置部１０に配置された対象物ＰＯＢに対する撮影部１６２の撮影方向を変化させるための回転移動を行う機構である。図１８では、モーターなどの駆動部により実現される回転移動機構１２により、ターンテーブルのように配置部１０を回転させることにより、対象物ＰＯＢに対する撮影部１６２の撮影方向を変化させている。このような配置部１０と回転移動機構１２を設けることで、対象物ＰＯＢに対する撮影部１６２の撮影方向が所定角度以上の撮影方向範囲となる撮影画像群を取得できるようになる。 Further, the image generation system of the present embodiment includes a photographing unit 162 such as a camera, an arrangement unit 10 (placement unit) on which the object POB is arranged, and a rotation moving mechanism 12, as shown in FIG. 18 described later. be able to. The rotational movement mechanism 12 is a mechanism that performs rotational movement for changing the photographing direction of the photographing unit 162 with respect to the object POB arranged in the arrangement unit 10. In FIG. 18, the placement unit 10 is rotated like a turntable by the rotation moving mechanism 12 realized by a drive unit such as a motor, thereby changing the shooting direction of the shooting unit 162 with respect to the object POB. By providing the arrangement unit 10 and the rotation moving mechanism 12 as described above, it is possible to acquire a captured image group in which the capturing direction of the capturing unit 162 with respect to the object POB is in a capturing direction range of a predetermined angle or more.
また本実施形態の画像生成システムは、対象物を空中に浮遊させた状態で支持する支持部を含んでもよい。例えば後述の図１９に示すように、支持部１６により対象物ＰＯＢを支持することで、対象物ＰＯＢを空中に浮遊させた状態で撮影部１６２により撮影できるようにする。例えば対象物ＰＯＢの脚部等が配置部１０から離れた状態で、対象物ＰＯＢを支持部１６により支持して、撮影部１６２により対象物ＰＯＢを複数の撮影方向から撮影して撮影画像群を取得するようにする。このようにすることで、例えばアニメなどにおいて飛行可能なキャラクタとして登場するロボットなどのプラモデルを対象物ＰＯＢとして撮影して、仮想空間に登場させることが可能になる。 Further, the image generation system of this embodiment may include a support unit that supports an object in a state of being suspended in the air. For example, as shown in FIG. 19, which will be described later, by supporting the object POB by the supporting unit 16, the object POB can be photographed by the photographing unit 162 in a state of being suspended in the air. For example, in a state in which the legs of the target object POB are separated from the disposing unit 10, the target object POB is supported by the support unit 16, and the target object POB is captured by the image capturing unit 162 from a plurality of image capturing directions to form a captured image group. Try to get. By doing so, for example, it becomes possible to shoot a plastic model such as a robot that appears as a flyable character in animation or the like as the object POB and make it appear in the virtual space.
また取得部１１０は、第１の撮影画像群と第２の撮影画像群を取得する。なお取得する撮影画像群は２つに限定されず、３つ以上の撮影画像群を取得してもよい。即ち取得部１１０は、第１〜第Ｋの撮影画像群（Ｋは２以上の整数）を取得できる。第１の撮影画像群は、撮影部１６２により対象物を複数の撮影方向から撮影することで得られる撮影画像群である。一方、第２の撮影画像群は、ポーズを変化させた対象物、付随物を付加した対象物又は形状変形させた対象物を複数の撮影方向から撮影することで得られる画像群である。例えば第１の撮影画像群における対象物のポーズ（姿勢）を変化させた対象物（第２の対象物）を、撮影部１６２により複数の撮影方向から撮影することで第２の撮影画像群を取得する。或いは、第１の撮影画像群における対象物に対して、武器、防具、装備品、装飾品又は所持品などの付随物を付加（装備、所持）した対象物（第２の対象物）を、撮影部１６２により複数の撮影方向から撮影することで第２の撮影画像群を取得する。或いは、第１の撮影画像群における対象物を形状変形させた対象物（第２の対象物）を、撮影部１６２により複数の撮影方向から撮影することで第２の撮影画像群を取得する。例えば異なる形状に対象物が変形する変身状態に設定して、複数の撮影方向から撮影して、第２の撮影画像群を取得する。或いは、第１の撮影画像群を加工した画像群を第２の撮影画像群として取得してもよい。例えば第１の撮影画像群の縮小拡大などのサイズ変更の加工処理を行ったり、第１の撮影画像群に対してぼかし処理などの画像エフェクト処理の加工処理を行ったり、第１の撮影画像群の色、明るさ又はコントラストを変更する加工処理を行ったり、或いは第１の撮影画像群の左右反転、上下反転又は回転などの加工処理を行ったりすることで、第２の撮影画像群を取得する。そして記憶部１７０（撮影画像情報記憶部１７６）は、このようにして取得された第１、第２の撮影画像群を記憶し、移動処理部１１２は、仮想空間においてプリミティブを移動させる処理を行う。そしてテクスチャ生成部１１４は、第１、第２の撮影画像群から、プリミティブにマッピングするテクスチャを生成し、画像生成部１２０は、生成されたテクスチャを、プリミティブにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する。例えばテクスチャ生成部１１４は、第１、第２の撮影画像群から、所定手順の処理により得られた撮影画像に基づいて、テクスチャを生成する。そして画像生成部１２０は、所定手順の処理により得られた撮影画像に基づくテクスチャを、仮想空間内で移動するプリミティブにマッピングすることで、対象物に対応する表示物が表示された仮想空間画像を生成する。 The acquisition unit 110 also acquires a first captured image group and a second captured image group. The captured image group to be acquired is not limited to two, and three or more captured image groups may be acquired. That is, the acquisition unit 110 can acquire the first to Kth captured image groups (K is an integer of 2 or more). The first photographed image group is a photographed image group obtained by photographing the object from a plurality of photographing directions by the photographing unit 162. On the other hand, the second photographed image group is an image group obtained by photographing a target object with a changed pose, a target object with an accompanying object, or a target object with a deformed shape from a plurality of shooting directions. For example, the object (second object) in which the pose (posture) of the object in the first imaged image group is changed is imaged by the image capturing unit 162 from a plurality of image capturing directions to form a second imaged image group. get. Alternatively, an object (second object) obtained by adding (equiping, possessing) ancillary objects such as weapons, armor, equipment, ornaments, or belongings to the object in the first captured image group, A second captured image group is acquired by capturing images from a plurality of capturing directions by the image capturing unit 162. Alternatively, the second photographed image group is acquired by photographing the target object (the second target object) obtained by deforming the shape of the target object in the first photographed image group from the plural photographing directions by the photographing unit 162. For example, the second captured image group is acquired by setting the transformed state in which the target object is deformed into different shapes and capturing images from multiple capturing directions. Alternatively, an image group obtained by processing the first captured image group may be acquired as the second captured image group. For example, modification processing such as reduction and enlargement of the first captured image group is performed, processing processing of image effect processing such as blurring processing is performed on the first captured image group, and the first captured image group is processed. The second captured image group is obtained by performing a processing process for changing the color, brightness, or contrast of the first captured image group, or by performing a processing process such as left-right inversion, vertical inversion, or rotation of the first captured image group. To do. The storage unit 170 (captured image information storage unit 176) stores the first and second captured image groups acquired in this way, and the movement processing unit 112 performs processing for moving the primitive in the virtual space. .. Then, the texture generation unit 114 generates a texture to be mapped to a primitive from the first and second photographed image groups, and the image generation unit 120 maps the generated texture to the primitive to generate a virtual camera in the virtual space. Generate a virtual space image that can be seen from. For example, the texture generation unit 114 generates a texture from the first and second photographed image groups based on the photographed images obtained by the process of the predetermined procedure. Then, the image generation unit 120 maps the texture based on the captured image obtained by the process of the predetermined procedure to the primitive that moves in the virtual space, thereby generating the virtual space image in which the display object corresponding to the target object is displayed. To generate.
またテクスチャ生成部１１４は、プレーヤの操作入力情報に応じて、第１、第２の撮影画像群の一方の撮影画像群を選択する。そして選択された一方の撮影画像群の撮影画像に基づいて、テクスチャを生成する。例えばプレーヤが操作部１６０を用いて入力した操作入力情報を取得し、この操作入力情報に基づいて、第１、第２の撮影画像群の一方の撮影画像群を選択する。例えば操作入力情報に基づいてプレーヤが第１の操作を行ったと判断された場合には、第１の撮影画像群を選択し、第１の撮影画像群の撮影画像に基づいて、プリミティブにマッピングされるテクスチャを生成する。一方、プレーヤが第２の操作を行ったと判断された場合には、第２の撮影画像群を選択し、第２の撮影画像群の撮影画像に基づいて、プリミティブにマッピングされるテクスチャを生成する。このようにすれば、第１、第２の撮影画像群のうち、プレーヤの操作入力情報に対応した撮影画像群から撮影画像を選択して、テクスチャを生成し、対象物に対応する表示物を表示するためのプリミティブにマッピングできるようになる。従って、プレーヤの操作入力情報に応じた適切な撮影画像がマッピングされた表示物を、仮想空間に登場させることが可能になる。 Further, the texture generation unit 114 selects one of the first and second photographed image groups according to the operation input information of the player. Then, a texture is generated based on the picked-up images of the selected one picked-up image group. For example, the player acquires operation input information input using the operation unit 160, and selects one of the first and second captured image groups based on the operation input information. For example, when it is determined that the player has performed the first operation based on the operation input information, the first captured image group is selected and mapped to the primitive based on the captured image of the first captured image group. Generate a texture. On the other hand, when it is determined that the player has performed the second operation, the second photographed image group is selected, and the texture mapped to the primitive is generated based on the photographed images of the second photographed image group. .. By doing so, a photographed image is selected from the photographed image group corresponding to the operation input information of the player from the first and second photographed image groups, the texture is generated, and the display object corresponding to the target object is displayed. You will be able to map it to a primitive for display. Therefore, it is possible to cause the display object on which the appropriate captured image is mapped in accordance with the operation input information of the player to appear in the virtual space.
またテクスチャ生成部１１４は、対象物の分析結果と、プレーヤの操作入力情報に応じて、第１、第２の撮影画像群の一方の撮影画像群を選択し、選択された一方の撮影画像群の撮影画像に基づいて、テクスチャを生成する。例えば分析部１１１は、対象物のシルエット分析等の分析処理を行って、対象物の種類や形状等を特定する。そしてテクスチャ生成部１１４は、対象物の分析結果である対象物の種類や形状等と、プレーヤの操作入力情報とに基づいて、第１、第２の撮影画像群の一方の撮影画像群を選択する。例えば、分析処理により、対象物が第１の種類又は第１の形状であることが分析され、操作入力情報に基づいてプレーヤが第１の操作を行ったと判断された場合には、第１の撮影画像群を選択し、第１の撮影画像群の撮影画像に基づいて、プリミティブにマッピングされるテクスチャを生成する。一方、分析処理により、対象物が第２の種類又は第２の形状であることが分析され、操作入力情報に基づいてプレーヤが第２の操作を行ったと判断された場合には、第２の撮影画像群を選択し、第２の撮影画像群の撮影画像に基づいて、プリミティブにマッピングされるテクスチャを生成する。このようにすることで、対象物の分析結果とプレーヤの操作入力情報の両方に応じた適切な撮影画像がマッピングされた表示物を、仮想空間に登場させることが可能になる。 Further, the texture generation unit 114 selects one of the first and second photographed image groups according to the analysis result of the target object and the operation input information of the player, and selects the selected one photographed image group. A texture is generated based on the captured image of. For example, the analysis unit 111 performs analysis processing such as silhouette analysis of the target object to identify the type, shape, etc. of the target object. Then, the texture generation unit 114 selects one of the first and second captured image groups based on the type and shape of the target object, which is the analysis result of the target object, and the operation input information of the player. To do. For example, when the analysis process analyzes that the target object has the first type or the first shape and it is determined that the player has performed the first operation based on the operation input information, the first operation is performed. A captured image group is selected, and a texture to be mapped to a primitive is generated based on the captured images of the first captured image group. On the other hand, the analysis process analyzes that the object has the second type or the second shape, and when it is determined that the player has performed the second operation based on the operation input information, the second object is detected. A photographed image group is selected, and a texture mapped to a primitive is generated based on the photographed images of the second photographed image group. By doing so, it is possible to cause the display object on which the appropriate captured image is mapped in accordance with both the analysis result of the object and the operation input information of the player to appear in the virtual space.
またテクスチャ生成部１１４は、第１の撮影画像群の撮影画像と第２の撮影画像群の撮影画像を合成することで、テクスチャを生成する。例えば第１、第２の撮影画像群の撮影画像のα合成などの合成処理を行うことで、合成画像を生成し、合成画像に基づいてテクスチャを生成し、表示物に対応するプリミティブにマッピングする。例えば第１の撮影画像群の撮影画像に基づくテクスチャをプリミティブにマッピングした後、第１、第２の撮影画像群の撮影画像の合成画像に基づくテクスチャをプリミティブにマッピングする。そして、その後に、第２の撮影画像群の撮影画像に基づくテクスチャをプリミティブにマッピングする。このようにすれば、第１の撮影画像群の撮影画像に基づく表示物の画像から、第２の撮影画像群の撮影画像に基づく表示物の画像へとスムーズに切り替えることができ、擬似的なモーション補間処理などを実現することが可能になる。 The texture generation unit 114 also generates a texture by synthesizing the captured images of the first captured image group and the captured images of the second captured image group. For example, by performing a combining process such as α combination of the photographed images of the first and second photographed image groups, a combined image is generated, a texture is generated based on the combined image, and mapped to a primitive corresponding to the display object. .. For example, after mapping the texture based on the captured images of the first captured image group to the primitive, the texture based on the composite image of the captured images of the first and second captured image groups is mapped to the primitive. Then, after that, the texture based on the captured image of the second captured image group is mapped to the primitive. By doing so, it is possible to smoothly switch from the image of the display object based on the captured images of the first captured image group to the image of the display object based on the captured images of the second captured image group, which is pseudo. It becomes possible to realize motion interpolation processing and the like.
またゲーム処理部１０６は、対象物の分析結果に基づいて、プレーヤがプレイするゲームのゲームパラメータを設定し、設定されたゲームパラメータに基づいてゲーム処理を行う。例えば対象物の分析結果に基づいて、対象物の種類や形状等が特定される。そして対象物の種類や形状等に基づいて、対象物に対応するキャラクタ等の表示物のゲームパラメータが設定される。例えば攻撃力、守備力、耐久力、移動能力、走行能力、特殊能力、特殊スキル、ヒットポイント、マジックポイント又はレベル等のゲームパラメータが設定される。そして設定されたゲームパラメータに基づいて、キャラクタ等の表示物が登場するゲームの処理が行われる。例えばゲームの開始処理、ゲームの進行処理、ゲームの終了処理又はゲーム成績の演算処理などが行われる。 Further, the game processing unit 106 sets a game parameter of the game played by the player based on the analysis result of the target object, and performs a game process based on the set game parameter. For example, the type and shape of the target object are specified based on the analysis result of the target object. Then, the game parameter of the display object such as a character corresponding to the target object is set based on the type and shape of the target object. For example, game parameters such as offensive power, defensive power, durability, moving ability, running ability, special ability, special skill, hit points, magic points, or level are set. Then, based on the set game parameters, a game process in which a display object such as a character appears is performed. For example, a game start process, a game progress process, a game end process, a game score calculation process, and the like are performed.
また取得部１１０は、第１の撮影画像群を受け付けた後、第２の撮影画像群を受け付けた場合に、第２の撮影画像群が第１の撮影画像群と異なる撮影画像群か否かを判断する。そして異なる撮影画像群と判断された場合に、第２の撮影画像群を記憶部１７０に記憶する。即ち、第２の撮影画像群を受け付けた場合に、第２の撮影画像群が、過去に撮影した第１の撮影画像群と異なる撮影群か否かを判断する。そして取得部１１０は、第２の撮影画像群が、第１の撮影画像群とは異なる撮影画像群である場合に、当該第２の撮影画像群を記憶部１７０に記憶して保存する。例えば第２の撮影画像群に映る対象物が、ポーズを変化させた対象物、付随物を付加した対象物、或いは形状変形した対象物である場合には、第２の撮影像群が第１の撮影画像群とは異なる撮影画像群であると判断されるようになる。第３の撮影画像群を受け付けた場合にも、第３の撮影画像群が第１の撮影画像群や第２の撮影画像群と異なる撮影画像群か否かを判断し、異なる撮影画像群である場合に、第３の撮影画像群を記憶部１７０に記憶して保存する。異なる撮影画像群か否かは、例えば撮影画像に映る対象物の形状又は色などに基づいて判断できる。 Further, when the acquisition unit 110 receives the second captured image group after receiving the first captured image group, whether or not the second captured image group is a captured image group different from the first captured image group. To judge. Then, when it is determined that the captured image group is different, the second captured image group is stored in the storage unit 170. That is, when the second captured image group is received, it is determined whether the second captured image group is a captured group different from the first captured image group captured in the past. Then, when the second captured image group is a captured image group different from the first captured image group, the acquisition unit 110 stores the second captured image group in the storage unit 170 and saves it. For example, when the target object shown in the second captured image group is a target object with a changed pose, a target object with an accompanying object, or a target object having a deformed shape, the second captured image group is the first target object. The captured image group is determined to be different from the captured image group. Even when the third captured image group is received, it is determined whether the third captured image group is a captured image group different from the first captured image group and the second captured image group, and the different captured image group is determined. In some cases, the third captured image group is stored and saved in the storage unit 170. Whether or not different photographed image groups can be determined based on, for example, the shape or color of the object shown in the photographed image.
また編集処理部１０８は、第１、第２の撮影画像群からテクスチャを生成する際に撮影画像に対するプレーヤの編集を受け付ける編集処理を行う。例えば本実施形態では第１、第２の撮影画像群の撮影画像に基づいてテクスチャが生成されるが、当該テクスチャを生成する際に、撮影画像に対するプレーヤの編集を可能にする。例えば撮影画像を修正する編集や、撮影画像にマーク、アイコンなどの付加表示物を付加する編集や、撮影画像を変形するなどの編集を、プレーヤが行えるようにする。そして編集後の撮影画像に基づくテクスチャを生成して、仮想空間を移動するプリミティブにマッピングする。 Further, the edit processing unit 108 performs an edit process of accepting the player's edit of the captured image when generating the texture from the first and second captured image groups. For example, in the present embodiment, the texture is generated based on the captured images of the first and second captured image groups, but when the texture is generated, the player can edit the captured image. For example, the player is allowed to edit the captured image, add an additional display object such as a mark or icon to the captured image, or modify the captured image. Then, a texture based on the edited photographed image is generated and mapped to a moving primitive in the virtual space.
２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。
2. Method of this Embodiment Next, the method of this embodiment will be described in detail.
２．１ 概要
まず、本実施形態の手法の概要について説明する。従来より、フォトグラメトリと呼ばれる手法が知られており、このフォトグラメトリでは、現実世界の対象物を複数の撮影方向から撮影した撮影画像に基づいて３Ｄスキャンを行って、仮想空間に配置可能な３次元モデルを生成する。しかしながら、３Ｄスキャンでは、撮影画像の解像度に限界があるため、対象物が精細な形状を有していた場合に、この精細な形状を忠実に再現した３次元モデルを生成することは困難である。また３Ｄスキャンにより３次元モデルを生成する処理は、コンピュータの処理負荷が非常に重いため、対象物を撮影した後、短時間で、対象物に対応する３次元モデルの表示物を仮想空間に出現させることが難しいという問題もある。
2.1 Overview First, an overview of the method of this embodiment will be described. Conventionally, a method called photogrammetry has been known, and in this photogrammetry, a 3D scan can be performed based on captured images of an object in the real world taken from multiple imaging directions, and can be placed in a virtual space. A three-dimensional model. However, in 3D scanning, since the resolution of the captured image is limited, when the object has a fine shape, it is difficult to generate a three-dimensional model that faithfully reproduces this fine shape. .. In addition, since the processing load of a computer is very heavy in the process of generating a 3D model by 3D scanning, a display object of a 3D model corresponding to the object appears in a virtual space in a short time after the object is photographed. There is also the problem that it is difficult to do.
そこで本実施形態では、対象物の撮影画像に基づき３Ｄスキャンの解析処理を行うのではなく、対象物の撮影画像を用いてテクスチャを生成する。そして撮影画像に基づき生成されたテクスチャを仮想空間のプリミティブにマッピングすることで、対象物に対応する表示物が表示される仮想空間画像を生成する。具体的には移動制御情報に基づいて、ポリゴン等で実現されるプリミティブを仮想空間内で移動させる。移動制御情報としては、例えばプレーヤの操作入力情報を用いることができる。或いは予め決められた軌道に沿ってプリミティブを移動させるような移動制御情報であってもよい。そして、プリミティブの移動制御に用いる移動制御情報を用いて、対象物を撮影した複数の撮影画像の中から適切な撮影画像を選択する。そして選択された撮影画像に基づき生成されたテクスチャを、移動制御情報に基づき移動するプリミティブに対してマッピングして、仮想空間において仮想カメラから見える画像である仮想空間画像を生成する。即ち、プリミティブにテクスチャをマッピングすることで、対象物に対応するキャラクタ等の表示物の画像を生成し、この表示物の画像を含む仮想空間画像を生成する。このようにすることで、３Ｄスキャンのような負荷の重い処理を行うことなく、対象物の形状が忠実に再現された表示物の画像を含む仮想空間画像を生成できるようになる。 Therefore, in the present embodiment, the texture is generated using the captured image of the target, instead of performing the 3D scan analysis processing based on the captured image of the target. Then, the texture generated based on the captured image is mapped to the primitive in the virtual space to generate the virtual space image in which the display object corresponding to the target object is displayed. Specifically, a primitive realized by a polygon or the like is moved in the virtual space based on the movement control information. As the movement control information, for example, player's operation input information can be used. Alternatively, it may be movement control information for moving the primitive along a predetermined trajectory. Then, using the movement control information used for the movement control of the primitive, an appropriate photographed image is selected from a plurality of photographed images of the object. Then, the texture generated based on the selected captured image is mapped to the primitive that moves based on the movement control information to generate a virtual space image that is an image viewed from the virtual camera in the virtual space. That is, by mapping the texture to the primitive, an image of a display object such as a character corresponding to the object is generated, and a virtual space image including the image of the display object is generated. By doing so, it becomes possible to generate a virtual space image including an image of a display object in which the shape of the object is faithfully reproduced, without performing heavy processing such as 3D scanning.
具体的には図２（Ａ）に示すように本実施形態では、撮影部１６２により対象物ＰＯＢを複数の撮影方向から撮影する。図２（Ａ）では、対象物ＰＯＢは、ロボットのプラモデルである。この対象物ＰＯＢを、ターンテーブルである配置部１０に配置し、モーター等により実現される回転移動機構１２を用いて配置部１０を回転させる。例えば３０〜６０秒程度の撮影時間において、配置部１０を３６０度、回転させる。また対象物ＰＯＢの背景として、グリーンバックやブルーバック等の単色の背景部２０が配置されている。このようにすることで、例えば後述の図９のように３６０度の撮影方向範囲で撮影部１６２により対象物ＰＯＢを撮影できるようになり、対象物ＰＯＢを３６０度の撮影方向範囲で撮影した画像を得ることができる。具体的には撮影部１６２によりムービー撮影を行うことで、３６０度の撮影方向範囲で撮影した動画（ムービー）である撮影画像群を得ることができる。 Specifically, as shown in FIG. 2A, in the present embodiment, the object POB is imaged by the imaging unit 162 from a plurality of imaging directions. In FIG. 2A, the object POB is a plastic model of the robot. This object POB is placed on the placement unit 10 which is a turntable, and the placement unit 10 is rotated by using the rotation moving mechanism 12 realized by a motor or the like. For example, the placement unit 10 is rotated 360 degrees during a shooting time of about 30 to 60 seconds. Further, as a background of the object POB, a monochromatic background portion 20 such as a green background or a blue background is arranged. By doing so, the object POB can be imaged by the imaging unit 162 in the imaging direction range of 360 degrees as shown in FIG. 9 described later, and the image of the object POB taken in the imaging direction range of 360 degrees is obtained. Can be obtained. Specifically, by shooting a movie with the shooting unit 162, a shot image group that is a moving image (movie) shot in a shooting direction range of 360 degrees can be obtained.
そして本実施形態では、このような撮影の終了後、図２（Ｂ）に示すようにワンアクションの短い時間で、対象物ＰＯＢに対応するキャラクタＣＨ（広義には表示物）を、仮想空間に登場させて、このキャラクタＣＨを用いたゲームをプレーヤがプレイできるようにする。例えば図２（Ｂ）では、３次元のオブジェクト空間である仮想空間に、岩等の３次元のオブジェクトＯＢ１、ＯＢ２、ＯＢ３が配置され、敵ロボットである敵キャラクタＣＨＥも出現している。プレーヤはゲームコントローラー等の操作部１６０を操作することで、キャラクタＣＨをＡ１、Ａ２に示すように動かすことができる。またロボットであるキャラクタＣＨの画像には、補助装置であるバーニアの噴射炎ＶＮの画像も表示されている。 Then, in the present embodiment, after such shooting, as shown in FIG. 2B, the character CH (display object in a broad sense) corresponding to the object POB is displayed in the virtual space in a short time of one action. It is made to appear so that the player can play the game using this character CH. For example, in FIG. 2B, three-dimensional objects OB1, OB2, and OB3 such as rocks are arranged in a virtual space that is a three-dimensional object space, and an enemy character CHE, which is an enemy robot, also appears. The player can move the character CH as shown by A1 and A2 by operating the operation unit 160 such as a game controller. Further, in the image of the character CH that is the robot, the image of the vernier injection flame VN that is the auxiliary device is also displayed.
なお以下では対象物がロボットのプラモデルである場合を主に例にとり説明するが、本実施形態はこれに限定されない。対象物は例えば戦艦等の艦船、戦闘機等の飛行機、戦車、車又は怪獣等のプラモデル、模型であってもよい。また対象物は、プラモデル、模型には限定されず、現実世界に実在する物体であればよい。例えば対象物としては、人形、フィギュアや、車、バイク又は自動車などの現実世界の乗り物や、家電、文房具、時計などの日常品や、彫刻、絵などの美術品や、ビル、橋などの建造物などの種々の物体（被写体）を想定できる。 In the following, the case where the object is a plastic model of a robot will be mainly described as an example, but the present embodiment is not limited to this. The object may be, for example, a ship such as a battleship, an airplane such as a fighter, a tank, a plastic model such as a car or a monster, and a model. Further, the object is not limited to a plastic model or a model, and may be an object that actually exists in the real world. For example, objects include real-world vehicles such as dolls, figures, cars, motorbikes, and automobiles, everyday items such as home appliances, stationery, and watches; art objects such as sculptures and drawings; and buildings and bridges. Various objects (subjects) such as things can be assumed.
次に本実施形態の画像生成手法について図３（Ａ）〜図７を用いて詳細に説明する。まず図３（Ａ）に示すように、ターンテーブルである配置部１０に対象物ＰＯＢを配置する。そして３０〜６０秒の撮影時間で、Ｂ１、Ｂ２に示すように配置部１０を３６０度だけ回転させながら、グリーンバック等の背景部２０を背景として、撮影部１６２により対象物ＰＯＢを撮影する。そして撮影部１６２の例えばムービー撮影により得られた動画のデータが処理装置２００に取り込まれる。この動画が、撮影部１６２により対象物ＰＯＢを複数の撮影方向から撮影することで得られる撮影画像群に対応する。 Next, the image generation method of this embodiment will be described in detail with reference to FIGS. First, as shown in FIG. 3A, the object POB is placed on the placement unit 10 which is a turntable. Then, in the image capturing time of 30 to 60 seconds, the object POB is imaged by the image capturing unit 162 with the background unit 20 such as a green background as the background while rotating the disposing unit 10 by 360 degrees as shown by B1 and B2. Then, data of a moving image obtained by, for example, movie shooting of the shooting unit 162 is loaded into the processing device 200. This moving image corresponds to a photographed image group obtained by photographing the object POB from a plurality of photographing directions by the photographing unit 162.
なお、図３（Ａ）では、本実施形態の画像生成システムを実現する処理装置２００がＰＣ（パーソナルコンピュータ）である場合の例が示されているが、本実施形態はこれに限定されない。画像生成システムを実現する処理装置２００は、後述の図１８に示すような業務用のゲーム装置であってもよいし、家庭用のゲーム装置などの他の形態の装置であってもよい。例えば処理装置２００は、スマートフォン、タブレットＰＣなどの携帯型通信端末であってもよい。この場合には撮影部１６２は携帯型通信端末の内蔵カメラなどにより実現できる。 Note that FIG. 3A shows an example in which the processing device 200 that realizes the image generation system of the present embodiment is a PC (personal computer), but the present embodiment is not limited to this. The processing device 200 that implements the image generation system may be an arcade game device as shown in FIG. 18 described later, or may be another type of device such as a home game device. For example, the processing device 200 may be a mobile communication terminal such as a smartphone or a tablet PC. In this case, the photographing unit 162 can be realized by a built-in camera or the like of the mobile communication terminal.
撮影部１６２の撮影により取得された動画である撮影画像群は、処理装置２００の記憶部１７０に記憶される。例えば記憶部１７０の指定フォルダーに、例えば３６０度の撮影方向範囲での撮影画像群となる動画のデータが自動保存される。図３（Ｂ）は、撮影画像群（動画）に含まれる撮影画像ＩＭの例である。この撮影画像ＩＭは、図３（Ａ）において対象物ＰＯＢの背中側である後方側を、撮影部１６２より撮影した際の撮影画像である。撮影画像ＩＭには、対象物ＰＯＢの画像が映っていると共に、図３（Ａ）の背景部２０による背景ＢＧの画像が映っている。背景ＢＧは、例えばグリーンバックやブルーバックなどの単色背景である。なお図３（Ａ）では撮影部１６２により対象物ＰＯＢのムービー撮影を行うことで、撮影画像群を取得しているが、例えば撮影部１６２の撮影方向を変えながら、対象物ＰＯＢのコマ撮り撮影を行うことで、撮影画像群を取得してもよい。 A captured image group, which is a moving image acquired by the capturing of the capturing unit 162, is stored in the storage unit 170 of the processing device 200. For example, data of a moving image that is a captured image group in a shooting direction range of 360 degrees is automatically stored in a designated folder of the storage unit 170, for example. FIG. 3B is an example of the captured image IM included in the captured image group (moving image). The photographed image IM is a photographed image when the back side, which is the back side of the object POB in FIG. 3A, is photographed by the photographing unit 162. In the captured image IM, the image of the object POB is shown, and the image of the background BG by the background portion 20 of FIG. 3A is also shown. The background BG is a monochrome background such as a green background or a blue background. Note that in FIG. 3A, a captured image group is acquired by capturing a movie of the object POB with the image capturing unit 162. For example, while changing the image capturing direction of the image capturing unit 162, time-lapse shooting of the object POB is performed. The captured image group may be acquired by performing.
そして本実施形態では図４（Ａ）に示すように、図３（Ｂ）の撮影画像ＩＭに基づき生成されたテクスチャＴＥＸが、プリミティブＰＭにマッピングされる。この場合に図４（Ｂ）に示すように、図３（Ｂ）の背景ＢＧがリアルタイムで透過処理されて、対象物ＰＯＢに対応するキャラクタＣＨだけが表示されるテクスチャＴＥＸが、プリミティブＰＭにマッピングされる。即ち図４（Ｂ）に模式的に示されるように、テクスチャＴＥＸのピクセルのうち、背景ＢＧに対応するピクセルについては透明に設定され、キャラクタＣＨに対応するピクセルだけが切り抜かれたテクスチャＴＥＸが生成される。キャラクタＣＨは、対象物ＰＯＢに対応してゲームに登場する表示物である。キャラクタＣＨの画像は、図３（Ａ）、図３（Ｂ）で説明した撮影画像ＩＭに基づく画像であるため、３Ｄスキャンを用いる場合に比べて、対象物ＰＯＢの精細な形状が忠実に再現された画像になる。 Then, in the present embodiment, as shown in FIG. 4A, the texture TEX generated based on the captured image IM of FIG. 3B is mapped to the primitive PM. In this case, as shown in FIG. 4B, the background BG of FIG. 3B is transparently processed in real time, and the texture TEX in which only the character CH corresponding to the object POB is displayed is mapped to the primitive PM. To be done. That is, as schematically shown in FIG. 4B, of the pixels of the texture TEX, the pixels corresponding to the background BG are set to be transparent, and only the pixels corresponding to the character CH are cut out to generate a texture TEX. To be done. The character CH is a display object that appears in the game corresponding to the object POB. Since the image of the character CH is an image based on the captured image IM described in FIGS. 3A and 3B, the fine shape of the object POB is faithfully reproduced as compared with the case of using the 3D scan. It will be the image that was made.
またプリミティブＰＭは、３次元のオブジェクト空間である仮想空間に配置設定されており、この仮想空間には、岩を表すオブジェクトＯＢ１、ＯＢ２、ＯＢ３などの種々のオブジェクトが配置設定されている。そして本実施形態では、このプリミティブＰＭが、移動制御情報に応じて仮想空間において移動する。具体的にはプレーヤが操作部１６０を用いて入力した操作入力情報を、移動制御情報として、プリミティブＰＭが仮想空間において回転移動したり、並進移動する。或いはプリミティブＰＭを自動移動させる移動制御情報に基づいて、プリミティブＰＭが仮想空間において回転移動したり、並進移動してもよい。そして後述するように、図３（Ａ）、図３（Ｂ）で撮影された動画の撮影画像群の中から、移動制御情報に応じて選択された撮影画像に基づいてテクスチャＴＥＸが生成され、生成されたテクスチャＴＥＸがプリミティブＰＭにマッピングされる。これにより、移動制御情報に応じて変化するテクスチャＴＥＸを、プリミティブＰＭにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成できるようになる。そして本実施形態によれば、ロボットのプラモデルなどの対象物ＰＯＢが、ゲーム空間である仮想空間に、そのままの形で出現するようになる。従って、プレーヤは、自身が所有するプラモデルなどの対象物ＰＯＢが、あたかも仮想空間に本当に出現したかのような仮想現実を感じることが可能になり、これまでにないタイプの画像生成システムの実現が可能になる。 Further, the primitive PM is arranged and set in a virtual space that is a three-dimensional object space, and various objects such as objects OB1, OB2, and OB3 representing rocks are arranged and set in this virtual space. Then, in the present embodiment, this primitive PM moves in the virtual space according to the movement control information. Specifically, the operation input information input by the player using the operation unit 160 is used as movement control information, and the primitive PM is rotationally moved or translated in the virtual space. Alternatively, the primitive PM may be rotationally moved or translated in the virtual space based on the movement control information for automatically moving the primitive PM. Then, as described below, the texture TEX is generated based on the captured image selected according to the movement control information from the captured image group of the moving images captured in FIGS. 3A and 3B, The generated texture TEX is mapped to the primitive PM. As a result, the texture TEX that changes according to the movement control information can be mapped to the primitive PM to generate a virtual space image viewed from the virtual camera in the virtual space. Then, according to the present embodiment, the object POB such as the plastic model of the robot appears as it is in the virtual space which is the game space. Therefore, the player can feel the virtual reality as if the object POB, such as a plastic model owned by the player, really appeared in the virtual space, and it is possible to realize an image generation system of an unprecedented type. It will be possible.
図５は、仮想空間でのプリミティブＰＭと仮想カメラＶＣの関係を示す図である。仮想空間には、岩を表すオブジェクトＯＢ１〜ＯＢ３や、敵ロボットである敵キャラクタＣＨＥなどが配置されている。ＶＭは、仮想カメラＶＣのビューボリュームであり、仮想カメラＶＣの表示範囲（描画範囲）に相当する。 FIG. 5 is a diagram showing a relationship between the primitive PM and the virtual camera VC in the virtual space. In the virtual space, objects OB1 to OB3 representing rocks and an enemy character CHE which is an enemy robot are arranged. VM is a view volume of the virtual camera VC and corresponds to the display range (drawing range) of the virtual camera VC.
図５に示すように本実施形態では、プリミティブＰＭと仮想カメラＶＣの位置関係が固定されている。例えばプリミティブＰＭと仮想カメラＶＣの位置関係が固定され状態で、プリミティブＰＭ及び仮想カメラＶＣを移動制御情報に応じて移動させる。例えばプリミティブＰＭと仮想カメラＶＣとを結ぶレールＲＬを移動制御情報に応じて移動させる。具体的には図５では、プリミティブＰＭとしてビルボードのポリゴンを用いている。例えばプリミティブＰＭと仮想カメラＶＣとの間の距離は一定であり、プリミティブＰＭは仮想カメラＶＣに正対するように配置される。例えば、プリミティブＰＭと仮想カメラＶＣとの間の距離が一定となり、且つ、仮想カメラＶＣの視線方向ＶＬとプリミティブＰＭの面が直交するようにプリミティブＰＭが配置される。このようにすれば、プリミティブＰＭを３次元の仮想空間に配置した場合にも、プレーヤから見てプリミティブＰＭが平面に見えないようにする演出が可能になり、あたかも３次元の表示物であるキャラクタＣＨが仮想空間で存在しているかのように見える仮想現実感をプレーヤに与えることが可能になる。 As shown in FIG. 5, in this embodiment, the positional relationship between the primitive PM and the virtual camera VC is fixed. For example, with the positional relationship between the primitive PM and the virtual camera VC fixed, the primitive PM and the virtual camera VC are moved according to the movement control information. For example, the rail RL that connects the primitive PM and the virtual camera VC is moved according to the movement control information. Specifically, in FIG. 5, a billboard polygon is used as the primitive PM. For example, the distance between the primitive PM and the virtual camera VC is constant, and the primitive PM is arranged so as to face the virtual camera VC. For example, the primitive PM is arranged such that the distance between the primitive PM and the virtual camera VC is constant, and the line-of-sight direction VL of the virtual camera VC and the surface of the primitive PM are orthogonal to each other. In this way, even when the primitive PM is arranged in a three-dimensional virtual space, it is possible to make the primitive PM not look like a plane as seen from the player, and it is as if the character is a three-dimensional display object. It is possible to give the player a virtual reality feeling as if the CH exists in the virtual space.
また本実施形態では図６に示すように、プリミティブＰＭにマッピングするテクスチャＴＥＸの画像をプリミティブＰＭの移動制御情報に応じて変化させている。具体的には操作部１６０へのプレーヤの操作入力に合わせて、仮想カメラＶＣとプリミティブＰＭの位置関係を固定しながら、仮想カメラＶＣの位置を支点（回転中心）として、Ｃ１、Ｃ２、Ｃ３、Ｃ４に示すようにプリミティブＰＭを回転移動する。即ち仮想カメラＶＣとプリミティブＰＭを結ぶレールＲＬを、仮想カメラＶＣの位置を支点として回転させる。また並進移動の場合には、仮想カメラＶＣとプリミティブＰＭを一体として並進移動させる。即ち仮想カメラＶＣとプリミティブＰＭを結ぶレールＲＬを並進移動させる。例えば左方向を指示する操作入力が行われた場合には、仮想カメラＶＣの位置を支点としてＣ１に示す方向にプリミティブＰＭを回転移動させる。右方向を指示する操作入力が行われた場合には、仮想カメラＶＣの位置を支点としてＣ２に示す方向にプリミティブＰＭを回転移動させる。同様に、下方向、上方向を指示する操作入力が行われた場合には、仮想カメラＶＣの位置を支点として、各々、Ｃ３、Ｃ４に示す方向にプリミティブＰＭを回転移動させる。このようにすることで、移動制御情報である操作入力情報に応じたプリミティブＰＭの移動処理が実現される。 Further, in the present embodiment, as shown in FIG. 6, the image of the texture TEX to be mapped to the primitive PM is changed according to the movement control information of the primitive PM. Specifically, while keeping the positional relationship between the virtual camera VC and the primitive PM fixed in accordance with the player's operation input to the operation unit 160, C1, C2, C3, with the position of the virtual camera VC as a fulcrum (center of rotation). The primitive PM is rotationally moved as indicated by C4. That is, the rail RL connecting the virtual camera VC and the primitive PM is rotated with the position of the virtual camera VC as a fulcrum. In the case of translational movement, the virtual camera VC and the primitive PM are translationally moved as a unit. That is, the rail RL connecting the virtual camera VC and the primitive PM is translated. For example, when the operation input for instructing the left direction is performed, the primitive PM is rotationally moved in the direction indicated by C1 with the position of the virtual camera VC as a fulcrum. When the operation input for instructing the right direction is performed, the primitive PM is rotationally moved in the direction indicated by C2 with the position of the virtual camera VC as the fulcrum. Similarly, when an operation input for instructing the downward direction or the upward direction is performed, the primitive PM is rotationally moved in the directions indicated by C3 and C4 with the position of the virtual camera VC as a fulcrum. By doing so, the movement processing of the primitive PM according to the operation input information which is the movement control information is realized.
そしてこのようなプリミティブＰＭの移動に連動して、プリミティブＰＭにマッピングされるテクスチャＴＥＸを変化させる。具体的には、図３（Ａ）、図３（Ｂ）のようにムービー撮影された３６０度の撮影方向範囲での対象物ＰＯＢの動画を、プリミティブＰＭの移動に連動して再生することで、プリミティブＰＭの移動に連動して、プリミティブＰＭにマッピングされるテクスチャＴＥＸを変化させる。例えばプレーヤが左方向を指示する操作入力を行うことで、図６のＣ１に示すように仮想カメラＶＣの位置を支点としてプリミティブＰＭを回転移動させる場合には、この回転移動に合わせて、図６の再生方向ＤＲに示すように動画再生を行う。例えば図６のＤ１に示すような後方側からの対象物ＰＯＢ（キャラクタＣＨ）の撮影画像から、Ｄ２に示すような左後方側からの対象物ＰＯＢの撮影画像に変化するというような動画再生を行う。更にＤ３に示すような左前方側からの対象物ＰＯＢの撮影画像に変化させ、Ｄ４に示すような前方側からの対象物ＰＯＢの撮影画像に変化するというような動画再生を行う。Ｄ１、Ｄ２、Ｄ３、Ｄ４に示す撮影画像が本実施形態の撮影画像群になる。このようにすれば、２次元の撮影画像によるテクスチャＴＥＸを用いながらも、あたかも３次元の表示物であるキャラクタＣＨが仮想空間で回転移動しているかのように見える仮想空間画像を生成できるようになる。 Then, the texture TEX mapped to the primitive PM is changed in association with the movement of the primitive PM. Specifically, as shown in FIGS. 3A and 3B, the moving image of the object POB in the shooting direction range of 360 degrees, which is shot as a movie, is reproduced in synchronization with the movement of the primitive PM. , The texture TEX mapped to the primitive PM is changed in association with the movement of the primitive PM. For example, when the player performs an operation input for instructing the left direction to rotate the primitive PM with the position of the virtual camera VC as a fulcrum, as shown in C1 of FIG. The moving image is reproduced as indicated by the reproduction direction DR. For example, a moving image is reproduced such that the captured image of the object POB (character CH) from the rear side as shown in D1 of FIG. 6 is changed to the captured image of the target POB from the left rear side as shown in D2. To do. Further, a moving image is reproduced such that the captured image of the object POB from the left front side is changed to D3, and the captured image of the object POB is changed from the front side to D4. The photographed images D1, D2, D3, and D4 are the photographed image group of this embodiment. By doing so, it is possible to generate a virtual space image that looks as if the character CH, which is a three-dimensional display object, is rotating and moving in the virtual space while using the texture TEX formed by the two-dimensional captured image. Become.
また本実施形態では図７に示すように、例えばバーニアの噴射炎ＶＮやビーム砲が発射するビームＢＭなどの３Ｄのエフェクト表現を実現するエフェクト処理も行っている。本実施形態では、このようなエフェクト処理を実現するために、後述の図１３（Ａ）〜図１３（Ｃ）で説明するように、移動制御情報に応じてプリミティブＰＭに対する相対的位置関係が変化するプリミティブＰＭＶ、ＰＭＢを用意する。プリミティブＰＭＶ、ＰＭＢは第２のプリミティブであり、例えばポリゴンである。プリミティブＰＭＶには噴射炎ＶＮを表す画像（テクスチャ）が描かれ、プリミティブＰＭＢにはビームＢＭを表す画像（テクスチャ）が描かれている。そしてプリミティブＰＭを移動させる移動制御情報（操作入力情報）に応じて、図７のＥ１、Ｅ２に示すようにプリミティブＰＭに対するプリミティブＰＭＶ、ＰＭＢの相対的位置関係を変化させる。そしてテクスチャＴＥＸがマッピングされたプリミティブＰＭの画像と、プリミティブＰＭＶ、ＰＭＢ（第２のプリミティブ）の画像とを含む画像を、仮想空間画像として生成する。 Further, in this embodiment, as shown in FIG. 7, for example, effect processing for realizing a 3D effect expression such as a vernier injection flame VN or a beam BM emitted by a beam gun is also performed. In the present embodiment, in order to realize such effect processing, the relative positional relationship with respect to the primitive PM is changed according to the movement control information, as will be described later with reference to FIGS. 13(A) to 13(C). Primitives PMV and PMB to be prepared are prepared. The primitives PMV and PMB are second primitives, and are polygons, for example. An image (texture) showing the injection flame VN is drawn on the primitive PMV, and an image (texture) showing the beam BM is drawn on the primitive PMB. Then, according to the movement control information (operation input information) for moving the primitive PM, the relative positional relationship between the primitive PMV and PMB with respect to the primitive PM is changed as shown by E1 and E2 in FIG. Then, an image including the image of the primitive PM to which the texture TEX is mapped and the images of the primitives PMV and PMB (second primitive) is generated as a virtual space image.
例えばプリミティブＰＭが回転移動した場合に、それに連動させて噴射炎ＶＮ用のプリミティブＰＭＶを図７のＥ１に示すように回転移動させる。即ち図７のＦ１に示すように、テクスチャＴＥＸに描かれるキャラクタＣＨのバーニアの補助装置から、噴射炎ＶＮが噴射して見えるように、噴射炎ＶＮが描かれるプリミティブＰＭＶを回転移動させる。またプリミティブＰＭが回転移動した場合に、それに連動させてビームＢＭ用のプリミティブＰＭＢを図７のＥ２に示すように回転移動させる。即ち図７のＦ２に示すように、テクスチャＴＥＸに描かれるキャラクタＣＨのビーム砲からビームＢＭが発射して見えるように、ビームＢＭが描かれるプリミティブＰＭＢを回転移動させる。 For example, when the primitive PM is rotationally moved, the primitive PMV for the injection flame VN is rotationally moved as indicated by E1 in FIG. That is, as indicated by F1 in FIG. 7, the primitive PMV on which the injection flame VN is drawn is rotationally moved so that the injection flame VN is seen to be ejected from the auxiliary device of the vernier of the character CH drawn on the texture TEX. Further, when the primitive PM is rotationally moved, the primitive PMB for the beam BM is rotationally moved in association with it as shown by E2 in FIG. That is, as shown in F2 of FIG. 7, the primitive PMB in which the beam BM is drawn is rotationally moved so that the beam BM can be seen to be emitted from the beam gun of the character CH drawn in the texture TEX.
このように本実施形態では、噴射炎ＶＮの噴射やビームＢＭの発射などを表現するプリミティブＰＭＶ、ＰＭＢを、図６のＤ１〜Ｄ４に示すような動画の再生に連動して移動させている。これにより噴射炎ＶＮやビームＢＭなどのエフェクト表現をリアルに実現できる。また後述するように、仮想カメラＶＣの位置からのプリミティブＰＭＶ、ＰＭＢの描画順番についてもコントロールすることで、２次元のモデルでありながら、３次元のモデルのような見た目と、ゲームプレイを実現している。即ち本実施形態では図３（Ａ）、図３（Ｂ）に示すように、プラモデルなどの対象物ＰＯＢの撮影画像に基づいて、対象物ＰＯＢに対応するキャラクタＣＨの画像を含む仮想空間画像を生成しているが、噴射炎ＶＮやビームＢＭについては、現実世界の対象物ＰＯＢでは表現できない。そこで噴射炎ＶＮやビームＢＭについては、プリミティブＰＭに対する相対的位置関係が変化するプリミティブＰＭＶ、ＰＭＢ（第２のプリミティブ）を用いて表現する。そして図６のＤ１〜Ｄ４に示すようなキャラクタＣＨの動画再生に矛盾しないように、プリミティブＰＭに対するプリミティブＰＭＶ、ＰＭＢの相対的位置関係を変化させる。これにより現実世界の対象物ＰＯＢでは表現できない噴射炎ＶＮやビームＢＭのエフェクト表現を実現できるようになる。 As described above, in the present embodiment, the primitives PMV and PMB that express the injection of the injection flame VN and the emission of the beam BM are moved in association with the reproduction of the moving images shown in D1 to D4 of FIG. As a result, the effect expression of the jet flame VN, the beam BM, etc. can be realistically realized. Further, as will be described later, by controlling the drawing order of the primitives PMV and PMB from the position of the virtual camera VC, it is possible to realize the appearance and game play of a two-dimensional model like a three-dimensional model. ing. That is, in the present embodiment, as shown in FIGS. 3A and 3B, a virtual space image including an image of the character CH corresponding to the object POB is generated based on the captured image of the object POB such as a plastic model. Although generated, the injection flame VN and the beam BM cannot be expressed by the object POB in the real world. Therefore, the injection flame VN and the beam BM are expressed by using the primitives PMV and PMB (second primitive) whose relative positional relationship to the primitive PM changes. Then, the relative positional relationship of the primitives PMV and PMB with respect to the primitive PM is changed so as to be consistent with the moving image reproduction of the character CH as shown in D1 to D4 of FIG. This makes it possible to realize the effect expression of the jet flame VN and the beam BM that cannot be expressed by the object POB in the real world.
２．２ 移動制御情報に応じたテクスチャのマッピング
次に本実施形態の手法の詳細について説明する。図８は撮影画像群に基づく仮想空間画像の生成処理のフローチャートである。まず対象物ＰＯＢを複数の撮影方向から撮影することで得られる撮影画像群を取得する（ステップＳ１）。例えば図３（Ａ）のように撮影部１６２でムービー撮影することで、対象物ＰＯＢを撮影した動画である撮影画像群を取得して、処理装置２００に取り込む。そして取得した撮影画像群を記憶部１７０に記憶する（ステップＳ２）。即ち処理装置２００のメモリに、動画である撮影画像群のデータを記憶して保存する。次にプリミティブＰＭの移動制御情報に応じて選択された撮影画像に基づいて、テクスチャＴＥＸを生成する（ステップＳ３）。例えば移動制御情報（操作入力情報）に基づいて、図６のＤ１〜Ｄ４のような撮影画像群の中から対応する撮影画像を選択し、図４（Ａ）、図４（Ｂ）で説明したようなテクスチャＴＥＸを生成する。そして移動制御情報に応じて変化するテクスチャＴＥＸを、移動制御情報に応じて移動するプリミティブＰＭにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する（ステップＳ４）。例えば図６のＣ１〜Ｃ４に示すように、移動制御情報（操作入力情報）に応じて、仮想カメラＶＣの位置を支点としてプリミティブＰＭが回転移動したり、仮想カメラＶＣとプリミティブＰＭが一体となって並進移動する。そして、このようなプリミティブＰＭの移動に連動して変化するテクスチャＴＥＸをプリミティブＰＭにマッピングする。例えば図６のＣ１に示すようにプリミティブＰＭが仮想カメラＶＣの位置を支点（回転中心）として左方向に回転移動した場合には、図６のＤ１〜Ｄ４に示すような撮影画像群の中から、プリミティブＰＭの回転角度に応じた撮影画像が選択されて、選択された撮影画像に基づくテクスチャＴＥＸがプリミティブＰＭにマッピングされる。これにより２次元の撮影画像を用いながらも、対象物ＰＯＢに対応する３次元モデルのキャラクタＣＨが仮想空間内において移動しているように見えるリアルな仮想空間画像を生成できるようになる。
2.2 Texture mapping according to movement control information Next, details of the method according to the present embodiment will be described. FIG. 8 is a flowchart of a virtual space image generation process based on a captured image group. First, a photographed image group obtained by photographing the object POB from a plurality of photographing directions is acquired (step S1). For example, as shown in FIG. 3A, a movie is photographed by the photographing unit 162 to obtain a photographed image group which is a moving image of the object POB and is taken into the processing device 200. Then, the acquired captured image group is stored in the storage unit 170 (step S2). That is, the memory of the processing device 200 stores and saves the data of the captured image group that is a moving image. Next, the texture TEX is generated based on the captured image selected according to the movement control information of the primitive PM (step S3). For example, based on the movement control information (operation input information), the corresponding photographed image is selected from the photographed image groups D1 to D4 in FIG. 6 and described with reference to FIGS. 4(A) and 4(B). Such a texture TEX is generated. Then, the texture TEX that changes according to the movement control information is mapped to the primitive PM that moves according to the movement control information to generate a virtual space image viewed from the virtual camera in the virtual space (step S4). For example, as indicated by C1 to C4 in FIG. 6, the primitive PM is rotationally moved with the position of the virtual camera VC as a fulcrum, or the virtual camera VC and the primitive PM are integrated according to the movement control information (operation input information). Move in translation. Then, the texture TEX that changes in association with the movement of the primitive PM is mapped to the primitive PM. For example, when the primitive PM rotationally moves to the left with the position of the virtual camera VC as a fulcrum (center of rotation) as shown by C1 in FIG. 6, among the photographed image groups as shown by D1 to D4 in FIG. A captured image corresponding to the rotation angle of the primitive PM is selected, and the texture TEX based on the selected captured image is mapped to the primitive PM. This makes it possible to generate a realistic virtual space image in which the character CH of the three-dimensional model corresponding to the object POB appears to be moving in the virtual space while using the two-dimensional captured image.
また本実施形態では、撮影画像群（第１、第２の撮影画像群）は、対象物ＰＯＢに対する撮影部１６２の撮影方向の変化が１８０度以上の撮影方向範囲となる画像群になっている。例えば図９では、対象物ＰＯＢに対する撮影方向ＤＣＭの変化が３６０度となる撮影方向範囲ＲＤＲで、撮影部１６２により対象物ＰＯＢが撮影されている。例えば図９では、対象物ＰＯＢの後方を撮影しているときの撮影部１６２の撮影方向ＤＣＭの角度が０度になっており、対象物ＰＯＢの左側を撮影しているときの撮影方向ＤＣＭの角度が９０度になっている。また対象物ＰＯＢの前方を撮影しているときの撮影方向ＤＣＭの角度が１８０度になっており、対象物ＰＯＢの右側を撮影しているときの撮影方向ＤＣＭの角度が２７０度になっている。図９の撮影方向範囲ＲＤＲは、撮影部１６２の撮影方向ＤＣＭが０度から３６０度まで変化する範囲となっている。但し、例えば撮影方向ＤＣＭの変化が０〜９０度及び３６０度〜２７０度となるような１８０度の撮影方向範囲ＲＤＲに設定してもよいし、撮影方向範囲ＲＤＲを１８０度〜３６０度の撮影方向範囲に設定してもよい。 In addition, in the present embodiment, the captured image group (first and second captured image groups) is an image group in which the change in the capturing direction of the capturing unit 162 with respect to the object POB is in the capturing direction range of 180 degrees or more. .. For example, in FIG. 9, the object POB is imaged by the imaging unit 162 in the imaging direction range RDR in which the change in the imaging direction DCM with respect to the object POB is 360 degrees. For example, in FIG. 9, the angle of the photographing direction DCM of the photographing unit 162 when photographing the back of the object POB is 0 degree, and the angle of the photographing direction DCM when photographing the left side of the object POB is The angle is 90 degrees. In addition, the angle of the photographing direction DCM when photographing the front of the object POB is 180 degrees, and the angle of the photographing direction DCM when photographing the right side of the object POB is 270 degrees. .. The shooting direction range RDR in FIG. 9 is a range in which the shooting direction DCM of the shooting unit 162 changes from 0 degrees to 360 degrees. However, for example, the shooting direction range RDR may be set to 180 degrees such that the change of the shooting direction DCM is 0 to 90 degrees and 360 to 270 degrees, or the shooting direction range RDR is set to 180 to 360 degrees. You may set to a direction range.
このように対象物ＰＯＢに対する撮影部１６２の撮影方向の変化が１８０度以上の撮影方向範囲となる撮影画像群を用いることで、プリミティブＰＭが様々な方向に回転移動等した場合にも、これに対応した適切な撮影画像に基づくテクスチャを生成してプリミティブＰＭにマッピングできるようになる。 In this way, by using the captured image group in which the change in the shooting direction of the shooting unit 162 with respect to the object POB is within the shooting direction range of 180 degrees or more, even when the primitive PM is rotationally moved in various directions, It becomes possible to generate a texture based on the corresponding appropriate captured image and map it to the primitive PM.
なお図３（Ａ）、図９では、例えば対象物ＰＯＢの主軸に沿った鉛直方向を回転軸として撮影方向ＤＣＭを回転させた場合について示しているが、本実施形態はこれに限定されない。例えば対象物ＰＯＢの主軸に直交する方向である水平方向を回転軸として撮影方向ＤＣＭを回転させながら対象物ＰＯＢを撮影することで、撮影画像群を取得してもよい。このようにすれば例えば図６のＣ３やＣ４の方向にプリミティブＰＭを回転移動させる場合にも、当該回転移動に応じた適切な撮影画像に基づくテクスチャＴＥＸをプリミティブＰＭにマッピングできるようになる。また図３（Ａ）では対象物ＰＯＢの方を回転させることで、図９に示すような撮影方向範囲ＲＤＲでの撮影画像群を取得しているが、撮影部１６２の方を対象物ＰＯＢを中心として回転させることで、撮影方向範囲ＲＤＲでの撮影画像群を取得してもよい。即ち対象物ＰＯＢを注視するような撮影方向ＤＣＭで、対象物ＰＯＢを中心とする円上で撮影部１６２を移動させる。 Note that FIGS. 3A and 9 show the case where the imaging direction DCM is rotated about the vertical direction along the main axis of the object POB as the rotation axis, but the present embodiment is not limited to this. For example, the photographed image group may be acquired by photographing the object POB while rotating the photographing direction DCM with the horizontal direction, which is the direction orthogonal to the main axis of the object POB, as the rotation axis. By doing so, for example, even when the primitive PM is rotationally moved in the directions of C3 and C4 in FIG. 6, it becomes possible to map the texture TEX based on an appropriate captured image corresponding to the rotational movement onto the primitive PM. Further, in FIG. 3A, the object POB is rotated to obtain a photographed image group in the photographing direction range RDR as shown in FIG. 9, but the photographing unit 162 does not move the object POB. A captured image group in the shooting direction range RDR may be acquired by rotating the image around the center. That is, the imaging unit 162 is moved on a circle centered on the object POB in the imaging direction DCM that looks at the object POB.
また図９のように複数の撮影方向で撮影する場合に、撮影方向の数、即ち撮影画像群の画像数はできる限り多いことが望ましい。例えば１秒間の画像のフレーム数をｐ（例えばｐ＝３０、６０等）とした場合に、撮影方向の数に相当する撮影画像群の画像数は、ｐ以上であることが望ましい。即ち、少なくともｐ個の撮影方向で対象物ＰＯＢを撮影し、少なくともｐ個の撮影画像を含む撮影画像群を取得する。このようにすれば、少なくとも１秒間の間は、スムーズで適切なテクスチャの動画を再生して、プリミティブＰＭにマッピングできるようになる。 Further, when shooting is performed in a plurality of shooting directions as shown in FIG. 9, it is desirable that the number of shooting directions, that is, the number of images in the shot image group is as large as possible. For example, when the number of frames of images for one second is p (for example, p=30, 60, etc.), it is desirable that the number of images in the captured image group corresponding to the number in the shooting direction be p or more. That is, the object POB is photographed in at least p photographing directions, and a photographed image group including at least p photographed images is acquired. By doing so, it becomes possible to reproduce a moving image having a smooth and appropriate texture for at least 1 second and map it to the primitive PM.
また本実施形態では、プリミティブＰＭの移動制御情報に応じて撮影画像群（第１、第２の撮影画像群）から選択された撮影画像に基づいて、プリミティブＰＭにマッピングするテクスチャを生成している。具体的には、例えば撮影画像群により構成される動画のシーク制御を移動制御情報に基づいて行うことで、撮影画像群から撮影画像を選択し、選択された撮影画像に基づいてテクスチャを生成する。 Further, in the present embodiment, the texture to be mapped to the primitive PM is generated based on the photographed image selected from the photographed image group (first and second photographed image groups) according to the movement control information of the primitive PM. .. Specifically, for example, by performing seek control of a moving image including a captured image group based on the movement control information, a captured image is selected from the captured image group, and a texture is generated based on the selected captured image. ..
例えば図１０では撮影画像ＩＭ１〜ＩＭｊが撮影画像群であり、この撮影画像群から、プリミティブＰＭの移動制御情報に応じて選択された撮影画像ＩＭｉに基づきテクスチャが生成されて、プリミティブＰＭにマッピングされる。ここでｉ、ｊは１≦ｉ≦ｊとなる整数である。例えばｊは撮影画像群の画像数であり、前述のように１秒間の画像のフレーム数をｐとした場合に、ｊ≧ｐであることが望ましい。 For example, in FIG. 10, the photographed images IM1 to IMj are a photographed image group, and from this photographed image group, a texture is generated based on the photographed image IMi selected according to the movement control information of the primitive PM, and is mapped to the primitive PM. It Here, i and j are integers satisfying 1≦i≦j. For example, j is the number of images in the photographed image group, and it is desirable that j≧p, where p is the number of frames in one second as described above.
そして図１０では、ＩＭ１〜ＩＭｊの撮影画像群により構成される動画のシーク制御が移動制御情報に基づいて行われる。例えば巻き戻しのシーク制御の場合には、図１０の方向ＤＳ１へのシーク制御が行われて、ＩＭ１〜ＩＭｊの撮影画像群の中から移動制御情報に応じた撮影画像が選択される。一方、早送りのシーク制御の場合には、方向ＤＳ２へのシーク制御が行われて、ＩＭ１〜ＩＭｊの撮影画像群の中から移動制御情報に応じた撮影画像が選択される。例えば撮影画像ＩＭ１〜ＩＭｊに対してシーク番号ＳＮ１〜ＳＮｊが対応づけられていたとする。この場合に、例えばプリミティブＰＭの移動制御情報に応じて、シーク番号ＳＮ１〜ＳＮｊのいずれかが選択され、選択されたシーク番号に対応づけられた撮影画像が選択されて、テクスチャが生成され、プリミティブＰＭにマッピングされる。例えば移動制御情報によりシーク番号ＳＮｉが選択された場合には、シーク番号ＳＮｉに対応づけられた撮影画像ＩＭｉが選択されて、テクスチャが生成され、プリミティブＰＭにマッピングされるようになる。このようにすれば、撮影画像群により構成される動画のシーク制御を有効活用して、プリミティブＰＭの移動制御情報に対応した適切な撮影画像を選択してテクスチャを生成し、プリミティブＰＭにマッピングできるようになる。 Then, in FIG. 10, seek control of a moving image composed of a group of captured images IM1 to IMj is performed based on the movement control information. For example, in the case of seek control for rewinding, seek control in the direction DS1 of FIG. 10 is performed, and a captured image corresponding to the movement control information is selected from the captured image group of IM1 to IMj. On the other hand, in the case of fast-forward seek control, seek control in the direction DS2 is performed, and a captured image corresponding to the movement control information is selected from the captured image group of IM1 to IMj. For example, it is assumed that the seek numbers SN1 to SNj are associated with the captured images IM1 to IMj. In this case, for example, one of the seek numbers SN1 to SNj is selected according to the movement control information of the primitive PM, the captured image associated with the selected seek number is selected, the texture is generated, and the primitive is generated. Mapped to PM. For example, when the seek number SNi is selected by the movement control information, the captured image IMi associated with the seek number SNi is selected, the texture is generated, and the texture PM is mapped to the primitive PM. By doing this, it is possible to effectively utilize the seek control of the moving image formed by the captured image group, select an appropriate captured image corresponding to the movement control information of the primitive PM, generate a texture, and map it to the primitive PM. Like
また本実施形態では、プリミティブＰＭと仮想カメラＶＣの位置関係が固定された状態で、プリミティブＰＭ及び仮想カメラＶＣを移動制御情報に応じて移動させる処理を行う。例えば図１１（Ａ）〜図１１（Ｃ）では、プリミティブＰＭに対してキャラクタＣＨの画像が描かれたテクスチャがマッピングされている。 Further, in the present embodiment, a process of moving the primitive PM and the virtual camera VC according to the movement control information is performed in a state where the positional relationship between the primitive PM and the virtual camera VC is fixed. For example, in FIGS. 11A to 11C, the texture in which the image of the character CH is drawn is mapped to the primitive PM.
なおキャラクタＣＨの画像は実際には２次元の画像であるが、図１１（Ａ）〜図１１（Ｃ）では、説明を理解しやすくするために、キャラクタＣＨの向く方向が分かるように模式的に記載している。以下の説明でも同様である。 Note that the image of the character CH is actually a two-dimensional image, but in FIGS. 11A to 11C, in order to facilitate understanding of the description, the image is schematically shown so that the direction in which the character CH is facing can be known. It has been described in. The same applies to the following description.
図１１（Ａ）〜図１１（Ｃ）では、仮想カメラＶＣとプリミティブＰＭの間の距離は一定となっており、固定されている。即ち仮想カメラＶＣの視点位置ＰＳとプリミティブＰＭの面との間の距離は一定になっている。またプリミティブＰＭは仮想カメラＶＣに正対するように配置されており、仮想カメラＶＣの視線方向ＶＬがプリミティブＰＭの面に直交するように、プリミティブＰＭが配置されている。このように本実施形態では、プリミティブＰＭと仮想カメラＶＣの位置関係が固定された状態で、プリミティブＰＭ及び仮想カメラＶＣを仮想空間において移動させる。例えばプリミティブＰＭとしてビルボードポリゴンを用いる。このようにすることで、プリミティブＰＭにテクスチャがマッピングされることにより表示されるキャラクタＣＨ等の表示物の画像として、擬似的に３次元画像に見える画像を生成できるようになる。 In FIGS. 11A to 11C, the distance between the virtual camera VC and the primitive PM is constant and fixed. That is, the distance between the viewpoint position PS of the virtual camera VC and the surface of the primitive PM is constant. The primitive PM is arranged so as to face the virtual camera VC, and the primitive PM is arranged so that the line-of-sight direction VL of the virtual camera VC is orthogonal to the surface of the primitive PM. As described above, in the present embodiment, the primitive PM and the virtual camera VC are moved in the virtual space while the positional relationship between the primitive PM and the virtual camera VC is fixed. For example, a billboard polygon is used as the primitive PM. By doing so, it is possible to generate a pseudo three-dimensional image as an image of a display object such as the character CH displayed by mapping the texture on the primitive PM.
そして図６のＣ１に示すように、例えば左方向を指示するプレーヤの操作入力が行われた場合には、図１１（Ａ）から図１１（Ｂ）に示すように、仮想カメラＶＣの視点位置ＰＳを支点（回転中心）としてプリミティブＰＭが左回りに回転移動する。このときに仮想カメラＶＣとプリミティブＰＭの間の距離は一定になっており、仮想カメラＶＣの視線方向ＶＬはプリミティブＰＭの面に直交した状態になっている。このようにプリミティブＰＭと仮想カメラＶＣの位置関係が固定された状態で、プリミティブＰＭ及び仮想カメラＶＣが、図６のＣ１に示すような左方向を指示する移動制御情報に基づいて、回転移動している。このときにプリミティブＰＭにマッピングされるキャラクタＣＨの画像は、図６のＤ２に示すように、左回り（反時計回り）に向きが変わるようにキャラクタＣＨを回転した画像になる。例えばキャラクタＣＨの画像は、キャラクタＣＨに対応する対象物ＰＯＢを左後方側から見た画像になる。このようにすれば、プレーヤが左方向の操作指示を行った場合には、左回りに向きを変えたキャラクタＣＨの画像が、仮想空間画像として表示されるようになり、左方向の操作指示による移動制御情報に応じた適切なキャラクタＣＨの画像を表示することが可能になる。 Then, as indicated by C1 in FIG. 6, for example, when an operation input by the player instructing the leftward direction is performed, as shown in FIGS. 11A to 11B, the viewpoint position of the virtual camera VC is determined. The primitive PM rotates counterclockwise with PS as a fulcrum (center of rotation). At this time, the distance between the virtual camera VC and the primitive PM is constant, and the line-of-sight direction VL of the virtual camera VC is orthogonal to the surface of the primitive PM. In this manner, with the positional relationship between the primitive PM and the virtual camera VC fixed, the primitive PM and the virtual camera VC rotate and move based on the movement control information indicating the left direction as shown by C1 in FIG. ing. At this time, the image of the character CH that is mapped to the primitive PM is an image obtained by rotating the character CH so that the direction of the character CH changes to the left (counterclockwise), as indicated by D2 in FIG. For example, the image of the character CH is an image of the object POB corresponding to the character CH as viewed from the left rear side. With this configuration, when the player gives an operation instruction in the left direction, the image of the character CH whose direction is turned counterclockwise is displayed as a virtual space image. It is possible to display an image of an appropriate character CH according to the movement control information.
また図６のＣ２に示すように、例えば右方向を指示するプレーヤの操作入力が行われた場合には、図１１（Ａ）から図１１（Ｃ）に示すように、仮想カメラＶＣの視点位置ＰＳを支点としてプリミティブＰＭが右回りに回転移動する。このときに仮想カメラＶＣとプリミティブＰＭの間の距離は一定になっており、仮想カメラＶＣの視線方向ＶＬはプリミティブＰＭの面に直交した状態になっている。このようにプリミティブＰＭと仮想カメラＶＣの位置関係が固定された状態で、プリミティブＰＭ及び仮想カメラＶＣが、図６のＣ２に示すような右方向を指示する移動制御情報に基づいて、回転移動している。このときにプリミティブＰＭにマッピングされるキャラクタＣＨの画像は、右回り（時計回り）に向きが変わるようにキャラクタＣＨを回転した画像になる。例えばキャラクタＣＨの画像は、キャラクタＣＨに対応する対象物ＰＯＢを右後方から見た画像になる。このようにすれば、プレーヤが右方向の操作指示を行った場合には、右回りに向きを変えたキャラクタＣＨの画像が、仮想空間画像として表示されるようになり、右方向の操作指示による移動制御情報に応じた適切なキャラクタＣＨの画像を表示することが可能になる。 Further, as shown in C2 of FIG. 6, for example, when the player's operation input for instructing the right direction is performed, the viewpoint position of the virtual camera VC is changed as shown in FIGS. 11A to 11C. The primitive PM rotates clockwise around PS as a fulcrum. At this time, the distance between the virtual camera VC and the primitive PM is constant, and the line-of-sight direction VL of the virtual camera VC is orthogonal to the surface of the primitive PM. With the positional relationship between the primitive PM and the virtual camera VC fixed in this way, the primitive PM and the virtual camera VC rotate and move based on the movement control information indicating the right direction as shown by C2 in FIG. ing. At this time, the image of the character CH mapped on the primitive PM is an image obtained by rotating the character CH so that the direction of the character CH changes clockwise (clockwise). For example, the image of the character CH is an image of the object POB corresponding to the character CH viewed from the right rear. With this configuration, when the player gives a right operation instruction, the image of the character CH turned clockwise is displayed as a virtual space image. It is possible to display an image of an appropriate character CH according to the movement control information.
また本実施形態では図３（Ａ）、図３（Ｂ）に示すように、撮影部１６２は、対象物ＰＯＢと、対象物ＰＯＢの背景ＢＧを撮影する。例えば図３（Ａ）の背景部２０を撮影することで、図３（Ｂ）に示すように単色の背景ＢＧが撮影されるようになる。そして撮影画像の各ピクセルの色が、背景の色に対応する色か否かを判断する。そして背景の色に対応する色のピクセルであると判断された場合には、背景の色に対応する色のピクセルを透明にする処理を行うことで、テクスチャを生成する。 Further, in the present embodiment, as illustrated in FIGS. 3A and 3B, the imaging unit 162 images the object POB and the background BG of the object POB. For example, by photographing the background portion 20 of FIG. 3A, a monochrome background BG is photographed as shown in FIG. 3B. Then, it is determined whether the color of each pixel of the captured image corresponds to the background color. If it is determined that the pixel has a color corresponding to the background color, the pixel having the color corresponding to the background color is made transparent to generate a texture.
図１２に、背景の色に対応する色のピクセルを透明にする処理のフローチャートを示す。図１２の処理は例えばピクセルシェーダにより実現できる。まず処理対象ピクセルの色を判断する（ステップＳ１１）。そして処理対象ピクセルの色は背景の色に対応する色か否かを判断する（ステップＳ１２）。例えばグリーンバックの場合には、処理対象ピクセルの色が緑である場合に、背景の色に対応する色であると判断される。ブルーバックの場合には、処理対象ピクセルの色が青である場合に、背景の色に対応する色であると判断される。そして処理対象ピクセルの色が背景の色に対応する色であると判断された場合には、処理対象ピクセルが透明に設定される（ステップＳ１３）。α合成処理を例にとれば、処理対象ピクセルの色が背景の色に対応する色であると判断された場合には、当該処理対象ピクセルのα値がゼロに設定される。そして撮影画像の全てのピクセルを処理したか否かを判断し（ステップＳ１４）、全てのピクセルを処理していない場合には、処理対象ピクセルを次のピクセルに設定して（ステップＳ１５）、ステップＳ１１に戻る。一方、撮影画像の全てのピクセルを処理した場合には、処理を終了する。 FIG. 12 shows a flowchart of processing for making pixels of a color corresponding to the background color transparent. The process of FIG. 12 can be realized by, for example, a pixel shader. First, the color of the pixel to be processed is determined (step S11). Then, it is determined whether the color of the pixel to be processed is a color corresponding to the background color (step S12). For example, in the case of green background, when the color of the pixel to be processed is green, it is determined to be the color corresponding to the background color. In the case of blue background, when the color of the pixel to be processed is blue, it is determined to be the color corresponding to the background color. If it is determined that the color of the pixel to be processed corresponds to the color of the background, the pixel to be processed is set to be transparent (step S13). Taking the α synthesizing process as an example, when it is determined that the color of the pixel to be processed corresponds to the color of the background, the α value of the pixel to be processed is set to zero. Then, it is determined whether or not all the pixels of the captured image have been processed (step S14), and if all the pixels have not been processed, the pixel to be processed is set to the next pixel (step S15), and the step Return to S11. On the other hand, when all the pixels of the captured image have been processed, the processing ends.
図１２に示すような処理を行うことで、図３（Ｂ）に示すような撮影画像ＩＭから図４（Ｂ）に示すようなテクスチャＴＥＸを生成できるようになる。これにより背景ＢＧの部分に、仮想空間の他のオブジェクトが表示された適切な仮想空間画像を生成できるようになる。また図１２に示す処理は、シェーダのプログラムによるピクセルシェーダにより実現でき、処理負荷が軽い簡素な処理で実現できる。従って図２（Ａ）、図２（Ｂ）に示すように対象物ＰＯＢを撮影してからワンアクションで、当該対象物ＰＯＢに対応するキャラクタＣＨ等の表示物を仮想空間に登場させる処理を、容易に実現することが可能になる。 By performing the processing as shown in FIG. 12, it becomes possible to generate the texture TEX as shown in FIG. 4B from the captured image IM as shown in FIG. 3B. This makes it possible to generate an appropriate virtual space image in which another object in the virtual space is displayed on the background BG. Further, the processing shown in FIG. 12 can be realized by a pixel shader according to a shader program, and can be realized by simple processing with a light processing load. Therefore, as shown in FIGS. 2(A) and 2(B), a process of causing a display object such as the character CH corresponding to the target object POB to appear in the virtual space by one action after shooting the target object POB, It can be easily realized.
なお背景色は固定色である必要はなく、背景色を可変に設定できるようにしてもよい。例えば対象物ＰＯＢの色に応じて、背景色を可変に設定する。例えば対象物ＰＯＢに存在しない色に、背景色を設定したり、対象物ＰＯＢの色の補色を背景色に設定する。具体的には図２（Ａ）、図２（Ｂ）において、色を可変に設定できる背景部２０を用いる。例えばプロジェクターにより、背景色となる所定色の光を投影することで、背景部２０の色を可変に設定する。或いは背景部２０として、曲面表示装置などの表示装置を用い、背景色となる所定色の画面を表示することで、背景部２０の色を可変に設定する。このようにすることで、種々の対象物ＰＯＢに応じた適切な色に背景色を設定できるようになる。 The background color does not have to be a fixed color, and the background color may be variably set. For example, the background color is variably set according to the color of the object POB. For example, the background color is set to a color that does not exist in the object POB, or the complementary color of the color of the object POB is set to the background color. Specifically, in FIG. 2A and FIG. 2B, a background portion 20 whose color can be variably set is used. For example, the color of the background portion 20 is variably set by projecting light of a predetermined color that is the background color with a projector. Alternatively, a display device such as a curved surface display device is used as the background portion 20, and a color of the background portion 20 is variably set by displaying a screen of a predetermined color as the background color. By doing so, the background color can be set to an appropriate color according to various objects POB.
また本実施形態では、移動制御情報に応じてプリミティブに対する相対的位置関係が変化する第２のプリミティブの移動処理を行う。そしてテクスチャがマッピングされたプリミティブの画像と、第２のプリミティブの画像とを含む画像を、仮想空間画像として生成する。 Further, in the present embodiment, the movement processing of the second primitive whose relative positional relationship with the primitive changes according to the movement control information is performed. Then, an image including the primitive image to which the texture is mapped and the second primitive image is generated as a virtual space image.
例えば図１３（Ａ）では、第２のプリミティブとしてプリミティブＰＭＶ、ＰＭＢが、プリミティブＰＭの位置を基準に配置されている。図７で説明したように、プリミティブＰＭＶはバーニアの噴射炎ＶＮの画像を表示するためのプリミティブであり、プリミティブＰＭＢはビーム砲が発射するビームＢＭの画像を表示するためのプリミティブである。なお噴射炎ＶＮやビームＢＭの画像を３次元のオブジェクトを用いて生成してもよく、この場合にはプリミティブＰＭＶ、ＰＭＢは当該オブジェクトを構成するポリゴン等になる。 For example, in FIG. 13A, the primitives PMV and PMB are arranged as the second primitives based on the position of the primitive PM. As described with reference to FIG. 7, the primitive PMV is a primitive for displaying an image of the vernier jet flame VN, and the primitive PMB is a primitive for displaying an image of the beam BM emitted by the beam gun. The images of the jet flame VN and the beam BM may be generated using a three-dimensional object, and in this case, the primitives PMV and PMB are polygons or the like that constitute the object.
そして図１３（Ａ）〜図１３（Ｃ）では、図１１（Ａ）〜図１１（Ｃ）で説明したように、移動制御情報に応じてプリミティブＰＭを移動する処理が行われている。またプリミティブＰＭにマッピングされるキャラクタＣＨの画像（テクスチャ）も、移動制御情報に応じた適切な撮影画像を用いて生成される。そして図１３（Ａ）〜図１３（Ｃ）では、移動制御情報に応じてプリミティブＰＭに対する相対的位置関係が変化するように、プリミティブＰＭＶ、ＰＭＢの移動処理が行われる。 Then, in FIGS. 13A to 13C, as described in FIGS. 11A to 11C, the process of moving the primitive PM according to the movement control information is performed. An image (texture) of the character CH that is mapped to the primitive PM is also generated by using an appropriate captured image according to the movement control information. Then, in FIGS. 13A to 13C, the movement processing of the primitives PMV and PMB is performed so that the relative positional relationship with respect to the primitive PM changes according to the movement control information.
例えば図１３（Ａ）では、仮想カメラＶＣの視線方向ＶＬの方向にキャラクタＣＨが向いている画像が、プリミティブＰＭにマッピングされている。具体的には、図９の撮影方向ＤＣＭが０度の場合のように、対象物ＰＯＢを真後ろから撮影した撮影画像に基づき生成されたテクスチャが、キャラクタＣＨの画像としてプリミティブＰＭにマッピングされている。この場合には、キャラクタＣＨの真後ろの位置に、噴射炎ＶＮ用のプリミティブＰＭＶが配置される。またキャラクタＣＨは例えば右手にビーム砲を持っているため、キャラクタＣＨの右前方向に、ビームＢＭ用のプリミティブＰＭＢが配置される。これにより図７に示すように、補助装置であるバーニアの位置から噴射炎ＶＮが噴射されると共に、ビーム砲の位置からビームＢＭが発射される適切な仮想空間画像を生成できるようになる。 For example, in FIG. 13A, an image in which the character CH faces in the direction of the line of sight VL of the virtual camera VC is mapped to the primitive PM. Specifically, as in the case where the shooting direction DCM in FIG. 9 is 0 degrees, the texture generated based on the shot image of the object POB taken from directly behind is mapped to the primitive PM as the image of the character CH. .. In this case, the primitive PMV for the jet flame VN is arranged at a position directly behind the character CH. Further, since the character CH has a beam gun in the right hand, for example, the primitive PMB for the beam BM is arranged in the right front direction of the character CH. As a result, as shown in FIG. 7, it is possible to generate an appropriate virtual space image in which the injection flame VN is ejected from the position of the vernier that is the auxiliary device and the beam BM is emitted from the position of the beam gun.
一方、図１３（Ｂ）では、図６のＣ１に示すように、プレーヤにより左方向への操作指示が行われており、これにより、仮想カメラＶＣの位置を支点として、左回り（反時計回り）にプリミティブＰＭが回転移動している。このようなプリミティブＰＭの回転移動に伴い、プリミティブＰＭにマッピングされるキャラクタＣＨの画像も、図６のＤ２に示すように左回りに向きを変えた画像になる。そしてこのようにキャラクタＣＨの画像が左回りに向きを変えた画像になるのに連動するように、プリミティブＰＭに対するプリミティブＰＭＶ、ＰＭＢの相対的位置関係も変化する。即ち、左回りに向きを変えたキャラクタＣＨの後方にプリミティブＰＭＶが位置するように、プリミティブＰＭに対するプリミティブＰＭＶの相対的位置関係を変化させる。具体的には、プリミティブＰＭを基準として左回りに、プリミティブＰＭＶを回転移動させる。また左回りに向きを変えたキャラクタＣＨの右前方向にプリミティブＰＭＢが位置するように、プリミティブＰＭに対するプリミティブＰＭＢの相対的位置関係を変化させる。具体的には、プリミティブＰＭを基準として左回りに、プリミティブＰＭＢを回転移動させる。このようにすることで、バーニアの位置から噴射炎ＶＮが噴射される共に、ビーム砲の位置からビームＢＭが発射される適切な仮想空間画像を生成できるようになる。 On the other hand, in FIG. 13(B), as shown by C1 in FIG. 6, the player gives an operation instruction to the left direction, which causes the position of the virtual camera VC to be a fulcrum to be turned counterclockwise (counterclockwise). ) The primitive PM is rotating. With such a rotational movement of the primitive PM, the image of the character CH mapped on the primitive PM also becomes an image in which the direction is turned counterclockwise as shown by D2 in FIG. Then, the relative positional relationship between the primitives PMV and PMB with respect to the primitive PM also changes so as to interlock with the image of the character CH that turns counterclockwise. That is, the relative positional relationship of the primitive PMV with respect to the primitive PM is changed so that the primitive PMV is located behind the character CH whose direction is turned counterclockwise. Specifically, the primitive PMV is rotationally moved counterclockwise with respect to the primitive PM. Further, the relative positional relationship of the primitive PMB with respect to the primitive PM is changed so that the primitive PMB is located in the front right direction of the character CH whose direction is turned counterclockwise. Specifically, the primitive PMB is rotated counterclockwise with respect to the primitive PM. By doing so, it becomes possible to generate an appropriate virtual space image in which the injection flame VN is injected from the position of the vernier and the beam BM is emitted from the position of the beam gun.
また図１３（Ｃ）では、図６のＣ２に示すように、プレーヤにより右方向への操作指示が行われており、これにより、仮想カメラＶＣの位置を支点として、右回り（時計回り）にプリミティブＰＭが回転移動している。このようなプリミティブＰＭの回転移動に伴い、プリミティブＰＭにマッピングされるキャラクタＣＨの画像も、右回りに向きを変えた画像になる。そしてこのようにキャラクタＣＨの画像が右回りに向きを変えた画像になるのに連動するように、プリミティブＰＭに対するプリミティブＰＭＶ、ＰＭＢの相対的位置関係も変化する。即ち、右回りに向きを変えたキャラクタＣＨの後方にプリミティブＰＭＶが位置するように、プリミティブＰＭを基準として右回りに、プリミティブＰＭＶを回転移動させる。また右回りに向きを変えたキャラクタＣＨの右前方向にプリミティブＰＭＢが位置するように、プリミティブＰＭを基準として右回りに、プリミティブＰＭＢを回転移動させる。このようにすることで、バーニアの位置から噴射炎ＶＮが噴射される共に、ビーム砲の位置からビームＢＭが発射される適切な仮想空間画像を生成できるようになる。 Further, in FIG. 13C, as indicated by C2 in FIG. 6, the player issues an operation instruction in the right direction, which causes the position of the virtual camera VC to be a fulcrum to rotate clockwise (clockwise). The primitive PM is rotating. With such a rotational movement of the primitive PM, the image of the character CH mapped on the primitive PM also becomes an image in which the direction is changed clockwise. Then, the relative positional relationship of the primitives PMV and PMB with respect to the primitive PM also changes so as to interlock with the image of the character CH that is turned clockwise. That is, the primitive PMV is rotationally moved clockwise with the primitive PM as a reference so that the primitive PMV is located behind the character CH that has turned clockwise. Further, the primitive PMB is rotated clockwise with the primitive PM as a reference so that the primitive PMB is located in the front right direction of the character CH whose direction is turned clockwise. By doing so, it becomes possible to generate an appropriate virtual space image in which the injection flame VN is injected from the position of the vernier and the beam BM is emitted from the position of the beam gun.
また本実施形態では、第２のプリミティブの隠面消去処理を、移動制御情報に応じて行う。例えば図１３（Ｂ）では、ビームＢＭの画像は、仮想カメラＶＣから見てキャラクタＣＨに隠れて非表示になるべき画像になっている。例えば図１３（Ａ）のような位置関係においては、ビームＢＭの画像はキャラクタＣＨによって隠れずに表示されるべき画像になっている。しかしながら図１３（Ｂ）のようなプリミティブＰＭの回転移動が行われて、プリミティブＰＭを基準にして左回りにプリミティブＰＭＢが回転移動すると、プリミティブＰＭＢのビームＢＭの画像は、キャラクタＣＨにより隠れて非表示になるべき画像になる。従って、この場合にはビームＢＭ用のプリミティブＰＭＢを隠面消去する処理を行う。このようにプリミティブＰＭＢの隠面消去処理を行うことで、ビームＢＭの画像が仮想カメラＶＣから見て非表示になり、適切な仮想空間画像を生成できるようになる。即ち、通常ならば、仮想カメラＶＣから見たプリミティブＰＭ、ＰＭＶ、ＰＭＢの前後関係（奥行き値）を判断して隠面消去処理が行われる。この点、本実施形態では、プリミティブＰＭにマッピングされるキャラクタＣＨとビームＢＭや噴射炎ＶＮとの前後関係を、移動制御情報に基づき判断して、隠面消去処理を行う。このようにすることで、適切な隠面消去が行われた仮想空間画像を生成できるようになる。 Further, in the present embodiment, the hidden surface removal processing of the second primitive is performed according to the movement control information. For example, in FIG. 13B, the image of the beam BM is an image which should be hidden by the character CH when viewed from the virtual camera VC. For example, in the positional relationship shown in FIG. 13A, the image of the beam BM is an image that should be displayed without being hidden by the character CH. However, when the primitive PM is rotationally moved as shown in FIG. 13B and the primitive PMB is rotationally moved counterclockwise with respect to the primitive PM, the image of the beam BM of the primitive PMB is hidden by the character CH and is not displayed. It becomes an image that should be displayed. Therefore, in this case, a process of removing the hidden surface of the primitive PMB for the beam BM is performed. By performing the hidden surface removal processing of the primitive PMB in this way, the image of the beam BM is hidden when viewed from the virtual camera VC, and an appropriate virtual space image can be generated. That is, normally, the hidden surface removal process is performed by determining the front-rear relationship (depth value) of the primitives PM, PMV, and PMB viewed from the virtual camera VC. In this respect, in the present embodiment, the hidden surface erasing process is performed by determining the front-rear relationship between the character CH mapped to the primitive PM and the beam BM or the jet flame VN based on the movement control information. By doing so, it becomes possible to generate the virtual space image in which the hidden surface is appropriately removed.
また本実施形態では対象物ＰＯＢの分析結果に基づき設定される第２のプリミティブの初期配置位置から、プリミティブＰＭを基準に第２のプリミティブを移動させる処理を行う。例えば図１４では、対象物ＰＯＢのシルエット分析等の分析処理を行うことで、バーニアの噴射炎ＶＮの噴射位置やビームＢＭの発射位置を特定する。即ち対象物ＰＯＢの種類や形状に応じて、噴射炎ＶＮの噴射位置やビームＢＭの発射位置は異なる。そこで、対象物ＰＯＢの撮影画像に基づくシルエット分析等の分析処理を行うことで、対象物ＰＯＢの種類や形状を特定して、噴射炎ＶＮの噴射位置やビームＢＭの発射位置を特定する。そして図１４に示すように、特定された噴射炎ＶＮの噴射位置を、噴射炎ＶＮ用のプリミティブＰＭＶの初期配置位置ＰＩ１に設定する。また、特定されたビームＢＭの発射位置を、ビームＢＭ用のプリミティブＰＭＢの初期配置位置ＰＩ２に設定する。そして、これらの初期配置位置ＰＩ１、ＰＩ２から、図１３（Ａ）〜図１３（Ｃ）に示すように、プリミティブＰＭＶを基準にプリミティブＰＭＶ、ＰＭＢを移動させる処理を行う。即ちＰＩ１、ＰＩ２を初期配置位置として、プリミティブＰＭＶを基準にプリミティブＰＭＶ、ＰＭＢを回転移動させる。このようにすれば、対象物ＰＯＢの分析結果に応じた適切な初期配置位置ＰＩ１、ＰＩ２にプリミティブＰＭＶ、ＰＭＢを配置し、移動制御情報に応じてプリミティブＰＭが移動した場合に、その移動に連動した適切な位置に噴射炎ＶＮの画像やビームＢＭの画像を表示できるようになる。 Further, in the present embodiment, a process of moving the second primitive based on the primitive PM from the initial arrangement position of the second primitive set based on the analysis result of the object POB is performed. For example, in FIG. 14, the injection position of the injection flame VN of the vernier and the emission position of the beam BM are specified by performing analysis processing such as silhouette analysis of the object POB. That is, the injection position of the injection flame VN and the emission position of the beam BM differ depending on the type and shape of the object POB. Therefore, by performing analysis processing such as silhouette analysis based on the captured image of the object POB, the type and shape of the object POB are specified, and the injection position of the injection flame VN and the emission position of the beam BM are specified. Then, as shown in FIG. 14, the identified injection position of the injection flame VN is set to the initial arrangement position PI1 of the primitive PMV for the injection flame VN. Further, the emission position of the specified beam BM is set to the initial arrangement position PI2 of the primitive PMB for the beam BM. Then, as shown in FIGS. 13A to 13C, a process of moving the primitives PMV and PMB from the initial placement positions PI1 and PI2 with reference to the primitive PMV is performed. That is, with the PI1 and PI2 as initial placement positions, the primitives PMV and PMB are rotationally moved with the primitive PMV as a reference. With this configuration, when the primitives PMV and PMB are arranged at appropriate initial arrangement positions PI1 and PI2 according to the analysis result of the object POB, and when the primitive PM moves according to the movement control information, the movement is interlocked with the movement. The image of the injection flame VN and the image of the beam BM can be displayed at the appropriate positions.
なお対象物ＰＯＢにおいて、噴射炎ＶＮの噴射位置やビームＢＭの発射位置にマーカを取り付けて、対象物ＰＯＢの分析処理において、このマーカの認識処理を行うことで、第２のプリミティブの初期配置位置を決定してもよい。即ち、マーカの認識処理の結果に基づいて、噴射炎ＶＮ用のプリミティブＰＭＶの初期配置位置ＰＩ１やビームＢＭ用のプリミティブＰＭＢの初期配置位置ＰＩ２に決定する。 In the object POB, a marker is attached to the injection position of the injection flame VN or the emission position of the beam BM, and the recognition process of the marker is performed in the analysis process of the object POB. May be determined. That is, the initial placement position PI1 of the primitive PMV for the injection flame VN and the initial placement position PI2 of the primitive PMB for the beam BM are determined based on the result of the marker recognition process.
また本実施形態では、プリミティブＰＭＶ、ＰＭＢの画像である噴射炎ＶＮ、ビームＢＭの画像は、エフェクト画像である。即ち本実施形態では対象物ＰＯＢを撮影部１６２により実写することで、テクスチャを生成して、対象物ＰＯＢに対応するキャラクタＣＨの画像を表示しているが、噴射炎ＶＮやビームＢＭなどのエフェクトの画像は、撮影部１６２による実写によっては撮影できない。そこで本実施形態では、噴射炎ＶＮやビームＢＭなどのエフェクトの画像については、プリミティブＰＭに対して相対的に配置されたプリミティブＰＭＶ、ＰＭＢを用いて生成するようにしている。このようにすれば、撮影部１６２による実写によっては撮影できないエフェクトの画像を、対象物ＰＯＢに対応するキャラクタＣＨの画像に付随して表示できるようになる。 Further, in the present embodiment, the images of the injection flame VN and the beam BM, which are images of the primitive PMV and PMB, are effect images. That is, in the present embodiment, the object POB is actually photographed by the image capturing unit 162 to generate a texture and the image of the character CH corresponding to the object POB is displayed, but the effect of the jet flame VN, the beam BM, or the like is generated. The image of can not be photographed by the photographing by the photographing unit 162. Therefore, in the present embodiment, images of effects such as the injection flame VN and the beam BM are generated using the primitives PMV and PMB arranged relatively to the primitive PM. By doing so, it is possible to display an effect image that cannot be captured by the image capturing unit 162 in actual shooting, in association with the image of the character CH corresponding to the object POB.
また本実施形態では、仮想空間画像として、プリミティブの画像と、仮想空間に設定される複数のオブジェクトの画像とを含む画像を生成し、生成された仮想空間画像に対してポストエフェクト処理を行う。例えば図１５では、仮想空間画像として、プリミティブＰＭの画像であるキャラクタＣＨの画像と、仮想空間に設定される岩のオブジェクトＯＢ１、ＯＢ２、ＯＢ３や敵キャラクタＣＨＥのオブジェクトの画像を含む画像が生成されている。そして、このように生成された仮想空間画像に対してポストエフェクト処理を行う。例えば、ぼかし処理、明るさの調整処理又は色相の調整処理などのポストエフェクト処理を行う。例えば、他のオブジェクトＯＢ１、ＯＢ２、ＯＢ３等が表示される仮想空間画像に対して、プリミティブＰＭにより表されるキャラクタＣＨの画像が違和感なく表示されるようにするポストエフェクト処理を行う。例えばプリミティブＰＭにより表されるキャラクタＣＨの輪郭をぼかすようなポストエフェクト処理を行って、キャラクタＣＨと仮想空間画像の境界である輪郭が目立たなくなるようにする。またキャラクタＣＨの画像の明るさと、周囲の仮想空間画像の明るさに差があった場合に、この差を小さくするようなポストエフェクト処理を行う。このようにすることで、撮影画像に基づき生成されるキャラクタＣＨの画像が、周囲の仮想空間に対して違和感なく溶け込んで見えるような高品質でリアルな仮想空間画像を生成できるようになる。 In addition, in the present embodiment, an image including a primitive image and images of a plurality of objects set in the virtual space is generated as the virtual space image, and post-effect processing is performed on the generated virtual space image. For example, in FIG. 15, as the virtual space image, an image including the image of the character CH which is the image of the primitive PM and the images of the rock objects OB1, OB2, OB3 and the enemy character CHE set in the virtual space are generated. ing. Then, post-effect processing is performed on the virtual space image thus generated. For example, post-effect processing such as blurring processing, brightness adjustment processing, or hue adjustment processing is performed. For example, a post-effect process is performed on the virtual space image in which the other objects OB1, OB2, OB3, etc. are displayed so that the image of the character CH represented by the primitive PM is displayed without a sense of discomfort. For example, a post-effect process that blurs the contour of the character CH represented by the primitive PM is performed so that the contour that is the boundary between the character CH and the virtual space image becomes inconspicuous. If there is a difference between the brightness of the image of the character CH and the brightness of the surrounding virtual space image, post-effect processing is performed to reduce this difference. By doing so, it becomes possible to generate a high-quality and realistic virtual space image in which the image of the character CH generated based on the captured image appears to blend in with the surrounding virtual space without a sense of discomfort.
また本実施形態では、他の表示物に対応する他の対象物を複数の撮影方向から撮影することで得られる他の表示物用の撮影画像群を取得する。そして他の表示物用の移動制御情報に応じて、他の表示物用の撮影画像群から選択された撮影画像に基づいて、他の表示物用のテクスチャを生成する。そして他の表示物用の移動制御情報に応じて変化する他の表示物用のテクスチャを、他の表示物用のプリミティブにマッピングして、仮想空間画像を生成する。ここで他の表示物は、例えば敵キャラクタである。 Further, in the present embodiment, a captured image group for another display object obtained by capturing another target object corresponding to another display object from a plurality of shooting directions is acquired. Then, according to the movement control information for the other display object, the texture for the other display object is generated based on the captured image selected from the captured image group for the other display object. Then, the texture for the other display object, which changes according to the movement control information for the other display object, is mapped to the primitive for the other display object to generate the virtual space image. Here, the other display object is, for example, an enemy character.
例えば図１６では、他の表示物である敵キャラクタＣＨＥ１、ＣＨＥ２の画像を含む仮想空間画像を生成している。この場合には敵キャラクタＣＨＥ１、ＣＨＥ２に対応する対象物を複数の撮影方向から撮影することで得られる撮影画像群を取得する。例えば図３（Ａ）、図３（Ｂ）と同様の手法により、敵キャラクタＣＨＥ１、ＣＨＥ２に対応する敵ロボットのプラモデルを複数の撮影方向から撮影することで、敵キャラクタＣＨＥ１、ＣＨＥ２用（他の表示物用）の撮影画像群を取得する。そして敵キャラクタＣＨＥ１、ＣＨＥ２用の移動制御情報に応じて、敵キャラクタＣＨＥ１、ＣＨＥ２用の撮影画像群から選択された撮影画像に基づいて、敵キャラクタＣＨＥ１、ＣＨＥ２用のテクスチャＴＥＸＥ１、ＴＥＸＥ２を生成する。即ち、敵キャラクタＣＨＥ１、ＣＨＥ２は、敵キャラクタＣＨＥ１、ＣＨＥ２用の移動制御情報に基づいて仮想空間内を移動する。この敵キャラクタＣＨＥ１、ＣＨＥ２用の移動制御情報に基づいて、敵キャラクタＣＨＥ１、ＣＨＥ２用の撮影画像群から撮影画像を選択して、敵キャラクタＣＨＥ１、ＣＨＥ２用のテクスチャＴＥＸＥ１、ＴＥＸＥ２を生成する。このようにすることで、プレーヤのキャラクタＣＨの場合と同様に、移動制御情報を反映させたテクスチャＴＥＸＥ１、ＴＥＸＥ２を生成できるようになる。そして図１６に示すように、生成されたテクスチャＴＥＸＥ１、ＴＥＸＥ２を、敵キャラクタＣＨＥ１、ＣＨＥ２用のプリミティブＰＭＥ１、ＰＭＥ２にマッピングすることで、仮想空間画像を生成する。 For example, in FIG. 16, a virtual space image including images of enemy characters CHE1 and CHE2, which are other display objects, is generated. In this case, a shot image group obtained by shooting the target object corresponding to the enemy characters CHE1 and CHE2 from a plurality of shooting directions is acquired. For example, by shooting the plastic models of the enemy robots corresponding to the enemy characters CHE1 and CHE2 from a plurality of shooting directions in the same manner as in FIGS. 3A and 3B, the enemy characters CHE1 and CHE2 (other A captured image group (for display objects) is acquired. Then, in accordance with the movement control information for the enemy characters CHE1 and CHE2, the textures TEX1 and TEXE2 for the enemy characters CHE1 and CHE2 are generated based on the photographed images selected from the photographed image group for the enemy characters CHE1 and CHE2. That is, the enemy characters CHE1 and CHE2 move in the virtual space based on the movement control information for the enemy characters CHE1 and CHE2. Based on the movement control information for the enemy characters CHE1 and CHE2, a captured image is selected from the captured image group for the enemy characters CHE1 and CHE2 to generate textures TEX1 and TEXE2 for the enemy characters CHE1 and CHE2. By doing so, it becomes possible to generate the textures TEX1 and TEXT2 reflecting the movement control information, as in the case of the character CH of the player. Then, as shown in FIG. 16, a virtual space image is generated by mapping the generated textures TEX1 and TEX2 onto the primitives PME1 and PME2 for the enemy characters CHE1 and CHE2.
このようにすれば、敵キャラクタＣＨＥ１、ＣＨＥ２についても、キャラクタＣＨの場合と同様に、敵キャラクタＣＨＥ１、ＣＨＥ２に対応する対象物である敵ロボットのプラモデルを、仮想空間内に出現させるような演出が可能になる。これにより、プレーヤのロボットのプラモデルと敵ロボットのプラモデルとが仮想空間において対戦するというような、これまでにないゲームを実現できる。また敵キャラクタＣＨＥ１、ＣＨＥ２の画像についても、敵キャラクタＣＨＥ１、ＣＨＥ２用の移動制御情報を反映させた画像にすることができ、よりリアルな画像の生成が可能になる。例えば図１６では、敵キャラクタＣＨＥ１については、プリミティブＰＭＥ１を基準に右前方を向くような画像が生成され、キャラクタＣＨの方を向いている敵キャラクタＣＨＥ１の画像が、仮想空間画像として生成されるようになる。また敵キャラクタＣＨＥ２については、プリミティブＰＭＥ２を基準に左前方を向くような画像が生成され、キャラクタＣＨの方を向いている敵キャラクタＣＨＥ２の画像が、仮想空間画像として生成されるようになる。これによりプレーヤの仮想現実感の向上等を図れる。 By doing so, also with respect to the enemy characters CHE1 and CHE2, as in the case of the character CH, an effect of causing the plastic model of the enemy robot, which is the target object corresponding to the enemy characters CHE1 and CHE2, to appear in the virtual space. It will be possible. This makes it possible to realize an unprecedented game in which the plastic model of the player's robot and the plastic model of the enemy robot compete in the virtual space. Further, the images of the enemy characters CHE1 and CHE2 can also be images in which the movement control information for the enemy characters CHE1 and CHE2 is reflected, and a more realistic image can be generated. For example, in FIG. 16, for the enemy character CHE1, an image that faces the front right is generated based on the primitive PME1, and an image of the enemy character CHE1 that faces the character CH is generated as a virtual space image. become. With respect to the enemy character CHE2, an image that faces the left front is generated based on the primitive PME2, and an image of the enemy character CHE2 that faces the character CH is generated as a virtual space image. This can improve the virtual reality of the player.
また本実施形態では、プリミティブＰＭの周囲にパーティクルが表示される画像を、仮想空間画像として生成する。例えば図１７では、キャラクタＣＨの画像がマッピングされるプリミティブＰＭの周囲にパーティクルＰＴを発生させている。パーティクルＰＴの表示処理は、運動する粒子により構成される事象を表現するための処理であり、例えば物理シミュレーションによりパーティクルＰＴの移動等を制御する。例えばパーティクルＰＴの発生時の初速や重さ、重力や空気抵抗などの環境条件を設定することで、より精密なパーティクル制御を実現できる。一例としては、パーティクルＰＴの頂点座標を管理するバッファを記憶部１７０に設け、再帰的にシェーダ計算を行うことで、パーティクルＰＴの挙動を制御する。 In addition, in the present embodiment, an image in which particles are displayed around the primitive PM is generated as a virtual space image. For example, in FIG. 17, particles PT are generated around the primitive PM onto which the image of the character CH is mapped. The display process of the particles PT is a process for expressing an event composed of moving particles, and controls the movement of the particles PT by, for example, a physical simulation. For example, more precise particle control can be realized by setting environmental conditions such as initial velocity and weight when particles PT are generated, gravity and air resistance. As an example, a buffer that manages the vertex coordinates of the particles PT is provided in the storage unit 170, and the behavior of the particles PT is controlled by recursively performing shader calculation.
即ち、本実施形態では対象物ＰＯＢの２次元の撮影画像を用いて、擬似的に３次元画像に見えるキャラクタＣＨの画像を生成している。一方、仮想空間の他のオブジェクトについては３次元モデルにより表現されている。このため、何ら工夫を行わないと、擬似的な３次元画像であるキャラクタＣＨの画像と、３次元モデルである他のオブジェクトの画像との間に違和感が生じてしまい、プレーヤの仮想現実感を損ねるおそれがある。この点、図１７に示すようにキャラクタＣＨの画像がマッピングされるプリミティブＰＭの周囲にパーティクルＰＴを発生すれば、プリミティブＰＭが仮想空間内を移動したときに、周囲に存在するパーティクルＰＴが要因となって、３次元の空間感を創出できる。これにより、あたかも３次元モデルのキャラクタＣＨが、３次元の仮想空間を移動しているかのような仮想現実感を、プレーヤに与えることが可能になる。 That is, in the present embodiment, an image of the character CH that looks like a pseudo three-dimensional image is generated using the two-dimensional captured image of the object POB. On the other hand, other objects in the virtual space are represented by a three-dimensional model. For this reason, if no measures are taken, an image of the character CH, which is a pseudo three-dimensional image, and an image of another object, which is a three-dimensional model, feel uncomfortable and give the player a virtual reality. There is a risk of damage. In this regard, if particles PT are generated around the primitive PM on which the image of the character CH is mapped as shown in FIG. 17, when the primitive PM moves in the virtual space, the particles PT existing in the surroundings are a factor. It can create a three-dimensional sense of space. Accordingly, it is possible to give the player a virtual reality as if the character CH of the three-dimensional model is moving in the three-dimensional virtual space.
図１８に本実施形態の画像生成システムの業務用のゲーム装置２１０への適用例を示す。図１８の画像生成システムでは、本体装置である業務用のゲーム装置２１０に加えて、撮影部１６２と、対象物ＰＯＢが配置される配置部１０と、回転移動機構１２とが設けられている。具体的には図１８の画像生成システムでは、撮影用筐体２２０が設けられており、この撮影用筐体２２０に、撮影部１６２と配置部１０と回転移動機構１２が設けられている。また撮影用筐体２２０には背景部２０も設けられている。回転移動機構１２は、配置部１０に配置された対象物ＰＯＢに対する撮影部１６２の撮影方向を変化させるための回転移動を行う機構である。図１８では回転移動機構１２が配置部１０を回転させることで、対象物ＰＯＢに対する撮影部１６２の撮影方向を変化させている。ゲーム装置２１０（本体側筐体）と撮影用筐体２２０は、例えば有線又は無線により通信接続されており、例えば回転移動機構１２による配置部１０の回転を、ゲーム装置２１０により制御できるようになっている。 FIG. 18 shows an example of application of the image generation system of this embodiment to an arcade game device 210. In the image generation system in FIG. 18, in addition to the arcade game device 210 that is the main device, a photographing unit 162, an arrangement unit 10 in which the object POB is arranged, and a rotation movement mechanism 12 are provided. Specifically, in the image generation system of FIG. 18, a photographing case 220 is provided, and the photographing case 220 is provided with the photographing section 162, the arranging section 10, and the rotation moving mechanism 12. A background section 20 is also provided in the photographing housing 220. The rotational movement mechanism 12 is a mechanism that performs rotational movement for changing the photographing direction of the photographing unit 162 with respect to the object POB arranged in the arrangement unit 10. In FIG. 18, the rotation moving mechanism 12 rotates the placement unit 10 to change the shooting direction of the shooting unit 162 with respect to the object POB. The game apparatus 210 (main body side case) and the photographing case 220 are communicatively connected to each other, for example, by wire or wirelessly, and the rotation of the placement unit 10 by the rotation moving mechanism 12 can be controlled by the game apparatus 210, for example. ing.
図１８の画像生成システムでは、プレーヤは、まず撮影用筐体２２０の配置部１０に、プレーヤが撮影を希望するロボットのプラモデルなどの対象物ＰＯＢを配置する。そしてゲーム装置２１０においてプレーヤが例えば撮影を指示する操作を行うと、回転移動機構１２が配置部１０を回転させ、撮影部１６２が、図９に示すように３６０度の撮影方向範囲での対象物ＰＯＢの撮影を行う。そして、撮影により得られた動画（撮影画像群）のデータは、ゲーム装置２１０に転送され、ゲーム装置２１０の記憶部１７０に保存される。そして図２（Ａ）、図２（Ｂ）に示すように、プレーヤは、対象物ＰＯＢの撮影からワンアクションで、対象物ＰＯＢに対応するキャラクタＣＨが仮想空間に登場するゲームを、プレイできるようになる。これにより、プレーヤは、自身が所有するプラモデル等の対象物ＰＯＢに対応するキャラクタＣＨを仮想空間に登場させて、キャラクタＣＨを用いたゲームを楽しむことが可能になり、これまでにないゲームの実現が可能になる。 In the image generation system of FIG. 18, the player first arranges an object POB such as a plastic model of a robot that the player desires to photograph in the arrangement unit 10 of the photographing casing 220. Then, when the player performs an operation to instruct shooting in the game device 210, the rotation moving mechanism 12 rotates the placement unit 10, and the shooting unit 162 causes the target object in the shooting direction range of 360 degrees as shown in FIG. Take a picture of POB. Then, the data of the moving image (captured image group) obtained by shooting is transferred to the game device 210 and stored in the storage unit 170 of the game device 210. Then, as shown in FIGS. 2A and 2B, the player can play a game in which the character CH corresponding to the object POB appears in the virtual space with one action from the shooting of the object POB. become. As a result, the player can enjoy the game using the character CH by causing the character CH corresponding to the object POB such as the plastic model owned by the player to appear in the virtual space, and realize a game that has never existed before. Will be possible.
また図１９に示すように、対象物ＰＯＢを空中に浮遊させた状態で支持する支持部１６を設けることが望ましい。図１９では、棒状の支持部１６の一端が配置部１０に取り付けられている。そしてロボットのプラモデルである対象物ＰＯＢの臀部に穴部が設けられており、この穴部に対して、棒状の支持部１６の他端を差し込むことで、対象物ＰＯＢを空中に浮遊させた状態で支持できる。このようにすれば、対象物ＰＯＢに対応するキャラクタＣＨとして、空中に浮遊した状態のポーズのキャラクタＣＨを出現させることが可能になり、プレーヤの多様な要望に応えることが可能になる。 Further, as shown in FIG. 19, it is desirable to provide a support portion 16 for supporting the object POB in a state of being suspended in the air. In FIG. 19, one end of the rod-shaped support portion 16 is attached to the arrangement portion 10. A hole is provided in the buttocks of the object POB, which is a robot's plastic model, and the other end of the rod-shaped support portion 16 is inserted into this hole to suspend the object POB in the air. Can be supported by. By doing so, it is possible to make the character CH in a pose floating in the air appear as the character CH corresponding to the object POB, and it is possible to meet the various demands of the player.
なお図１９では棒状の支持部１６の他端を、対象物ＰＯＢの臀部の穴部に差し込むことで、対象物ＰＯＢを空中に浮遊させた状態で支持しているが、本実施形態の支持手法はこれには限定されない。例えばピアノ線などの細くて透明な線状部材により、対象物ＰＯＢを宙づりにすることで、対象物ＰＯＢを空中に浮遊させた状態で支持するようにしてもよい。或いは、対象物ＰＯＢの頭部に穴部を設け、支持部１６の他端を、この頭部の穴部に差し込むことで、逆さまの状態で対象物ＰＯＢを空中に浮遊させて支持するようにしてもよい。この場合には、取得された撮影画像群の撮影画像の上下反転処理を行えばよい。 In addition, in FIG. 19, the other end of the rod-shaped support portion 16 is inserted into the hole of the buttocks of the object POB to support the object POB in a state of floating in the air. Is not limited to this. For example, the object POB may be suspended in the air by a thin and transparent linear member such as a piano wire to support the object POB in the air. Alternatively, by providing a hole in the head of the object POB and inserting the other end of the support portion 16 into the hole of the head, the object POB is supported upside down by floating in the air. May be. In this case, upside down processing of the captured images of the acquired captured image group may be performed.
２．３ 第１、第２の撮影画像群からのテクスチャの生成
以上では、撮影画像群が１つである場合について主に説明した。以下では、第１、第２の撮影画像群などの複数の撮影画像群の撮影画像に基づいて、テクスチャを生成して、プリミティブＰＭにマッピングし、仮想空間画像を生成する手法について説明する。図２０は、第１、第２の撮影画像群に基づく仮想空間画像の生成処理のフローチャートである。
2.3 Generation of Texture from First and Second Captured Image Group In the above, the case where there is one captured image group has been mainly described. Hereinafter, a method of generating a texture based on captured images of a plurality of captured image groups such as the first and second captured image groups, mapping the texture to the primitive PM, and generating a virtual space image will be described. FIG. 20 is a flowchart of a virtual space image generation process based on the first and second captured image groups.
まず、撮影部１６２により対象物を複数の撮影方向から撮影することで得られる第１の撮影画像群を取得する（ステップＳ２１）。即ち図３（Ａ）、図３（Ｂ）で説明した撮影手法により、第１の撮影画像群（第１の動画）を取得する。次に、ポーズを変化させた対象物、付随物を付加した対象物又は形状変形させた対象物を複数の撮影方向から撮影することで得られる第２の撮影画像群を取得する（ステップＳ２２）。例えば後述の図２１（Ａ）、図２１（Ｂ）に示すように、第１の撮影画像群における対象物のポーズを変化させた対象物ＰＯＢを、複数の撮影方向（３６０度の撮影方向範囲）から撮影することで、第２の撮影画像群（第２の動画）を取得する。或いは図２２（Ａ）に示すように、第１の撮影画像群における対象物に対してキャノン砲ＣＮのような武器や、防具等の付随物を付加した対象物ＰＯＢを、複数の撮影方向から撮影することで、第２の撮影画像群を取得する。或いは図２２（Ｂ）に示すように、第１の撮影画像群における対象物を形状変形させた対象物ＰＯＢを、複数の撮影方向から撮影することで、第２の撮影画像群を取得する。或いは図２３に示すように、第１の撮影画像群を加工することで第２の撮影画像群を取得する。そして、このようにして取得した第１、第２の撮影画像群を記憶部１７０に記憶して保存する（ステップＳ２３）。 First, the image capturing unit 162 acquires a first captured image group obtained by capturing an image of an object from a plurality of capturing directions (step S21). That is, the first captured image group (first moving image) is acquired by the capturing method described with reference to FIGS. 3(A) and 3(B). Next, a second photographed image group obtained by photographing the object whose pose has been changed, the object to which the incidental object is added, or the object whose shape has been deformed is acquired from a plurality of photographing directions (step S22). .. For example, as shown in FIGS. 21(A) and 21(B) described below, the object POB in which the pose of the object in the first captured image group is changed is set in a plurality of imaging directions (imaging direction range of 360 degrees). ), the second captured image group (second moving image) is acquired. Alternatively, as shown in FIG. 22A, a target object POB in which a weapon such as a cannon CN or an accessory such as armor is added to the target object in the first captured image group from a plurality of capturing directions. The second captured image group is acquired by capturing the image. Alternatively, as shown in FIG. 22B, a second captured image group is acquired by capturing an image of a target object POB obtained by deforming the target object in the first captured image group from a plurality of capturing directions. Alternatively, as shown in FIG. 23, the second captured image group is acquired by processing the first captured image group. Then, the first and second photographed image groups thus acquired are stored and stored in the storage unit 170 (step S23).
次に第１、第２の撮影画像群から、プリミティブにマッピングするテクスチャを生成する（ステップＳ２４）。例えば図４（Ａ）、図４（Ｂ）、図１２等で説明した手法により、第１、第２の撮影画像群の撮影画像に基づいてテクスチャを生成する。そして、生成されたテクスチャをプリミティブにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する（ステップＳ２５）。例えば仮想空間においてプリミティブを移動させる処理を行い、第１、第２の撮影画像群から生成されたテクスチャを、仮想空間において移動するプリミティブにマッピングすることで、プリミティブにテクスチャがマッピングされた画像を含む仮想空間画像を生成する。 Next, a texture to be mapped to a primitive is generated from the first and second photographed image groups (step S24). For example, the texture is generated based on the photographed images of the first and second photographed image groups by the method described in FIG. 4A, FIG. 4B, FIG. Then, the generated texture is mapped to the primitive to generate a virtual space image viewed from the virtual camera in the virtual space (step S25). For example, a process of moving a primitive in the virtual space is performed, and the texture generated from the first and second captured image groups is mapped to the primitive that moves in the virtual space to include an image in which the texture is mapped to the primitive. Generate a virtual space image.
このようにすれば、第１の撮影画像群のみならず、第２の撮影画像群を用いて、テクスチャを生成し、生成されたテクスチャがマッピングされたプリミティブの画像を含む仮想空間画像を生成できるようになる。例えば対象物の撮影画像だけではなく、ポーズを変化させた対象物の撮影画像、付随物を付加した対象物の撮影画像、形状変形させた対象物の撮影画像、或いは対象物の撮影画像を加工した撮影画像に基づいて、テクスチャを生成し、当該テクスチャがマッピングされたプリミティブの画像を含む仮想空間画像を生成できるようになる。従って、対象物に対応する表示物を仮想空間に出現させることができると共に、様々な態様の対象物の撮影画像による仮想空間画像を生成することが可能になる。 By doing so, not only the first captured image group but also the second captured image group can be used to generate a texture and a virtual space image including an image of a primitive to which the generated texture is mapped. Like For example, not only the imaged image of the object, but also the imaged image of the object whose pose has been changed, the imaged image of the object added with ancillary objects, the imaged image of the object deformed in shape, or the imaged image of the object is processed. It becomes possible to generate a texture based on the captured image and generate a virtual space image including an image of a primitive to which the texture is mapped. Therefore, it is possible to cause the display object corresponding to the target object to appear in the virtual space, and to generate the virtual space image based on the captured images of the target object in various modes.
例えば図２１（Ａ）は対象物ＰＯＢの一例である。この対象物ＰＯＢは、ロボットのプラモデルであり、配置部１０に配置されている。そして回転移動機構１２により配置部１０を回転させることで、複数の撮影方向で撮影された対象物ＰＯＢの撮影画像群を取得できる。図３（Ｂ）で説明したように、この撮影画像群の撮影画像は、対象物ＰＯＢが映ると共に、背景部２０による背景ＢＧが映る画像になる。 For example, FIG. 21A is an example of the object POB. The object POB is a plastic model of the robot and is placed in the placement unit 10. Then, by rotating the placement unit 10 by the rotation moving mechanism 12, it is possible to acquire a captured image group of the object POB captured in a plurality of capturing directions. As described with reference to FIG. 3B, the picked-up images of this picked-up image group are images in which the object POB appears and the background BG by the background unit 20 appears.
そして図２１（Ｂ）では、ポーズを変化させた対象物ＰＯＢが配置部１０に配置されている。即ち図２１（Ｂ）の対象物ＰＯＢは、図２１（Ａ）とは異なったポーズをとっている。図２１（Ｂ）の対象物ＰＯＢは、図２１（Ａ）の対象物ＰＯＢ自体の関節等を曲げてポーズを変えたものであってもよいし、図２１（Ａ）の対象物ＰＯＢとは別個にプレーヤが用意した対象物（第２の対象物）であってもよい。例えば図２１（Ａ）に示すような基本ポーズの対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第１の撮影画像群が取得される。また図２１（Ｂ）に示すような所定ポーズの対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第２の撮影画像群が取得される。更にポーズを変化させて異ならせた対象物ＰＯＢを撮影することで、第３、第４の撮影画像群というように３つ以上の撮影画像群を取得してもよい。 Then, in FIG. 21B, the object POB whose pose has been changed is arranged in the arrangement unit 10. That is, the object POB of FIG. 21(B) has a pose different from that of FIG. 21(A). The object POB of FIG. 21(B) may be one in which the joint or the like of the object POB of FIG. 21(A) is bent to change the pose, and what is different from the object POB of FIG. 21(A)? An object (second object) separately prepared by the player may be used. For example, by arranging the object POB having the basic pose as shown in FIG. 21A in the arranging unit 10 and photographing from a plurality of photographing directions, the first photographed image group is acquired. Further, the second captured image group is acquired by arranging the object POB in a predetermined pose as shown in FIG. 21B in the arranging unit 10 and photographing from a plurality of photographing directions. Further, three or more photographed image groups such as the third and fourth photographed image groups may be acquired by photographing the target object POB with different poses.
また図２２（Ａ）では、付随物であるキャノン砲ＣＮを付加した対象物ＰＯＢが配置部１０に配置されている。即ち図２２（Ａ）の対象物ＰＯＢは、図２１（Ａ）にはないキャノン砲ＣＮが付加されている。図２２（Ａ）の対象物ＰＯＢは、図２１（Ａ）の対象物ＰＯＢ自体にキャノン砲ＣＮ等の付随物を付加したものであってもよいし、図２１（Ａ）の対象物ＰＯＢとは別個にプレーヤが用意した付随物付きの対象物（第２の対象物）であってもよい。例えば図２１（Ａ）に示すようなキャノン砲ＣＮを有しない対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第１の撮影画像群が取得される。また図２２（Ａ）に示すようなキャノン砲ＣＮを装備した対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第２の撮影画像群が取得される。更に異なる付随物を付加した対象物ＰＯＢを撮影することで、第３、第４の撮影画像群というように３つ以上の撮影画像群を取得してもよい。なお対象物ＰＯＢに付加される付随物はキャノン砲ＣＮには限定されず、キャノン砲ＣＮ以外の武器や、防具、装備品（武器、防具以外の装備品）、装飾品（アクセサリー、飾り等）、又は所持品（バッグ、時計等）などであってもよい。 Further, in FIG. 22A, an object POB to which a cannon CN CN as an accessory is added is arranged in the arrangement unit 10. That is, the object POB of FIG. 22(A) is added with a cannon gun CN not shown in FIG. 21(A). The target POB of FIG. 22(A) may be the target POB of FIG. 21(A) itself with an accompanying object such as a cannon CN, or the target POB of FIG. 21(A). May be an object with an accessory (second object) separately prepared by the player. For example, by arranging an object POB having no cannon CN as shown in FIG. 21(A) in the arranging section 10 and photographing from a plurality of photographing directions, the first photographed image group is acquired. Further, the second captured image group is acquired by placing the object POB equipped with the cannon CN as shown in FIG. 22(A) in the placement unit 10 and shooting from a plurality of shooting directions. It is also possible to acquire three or more photographed image groups such as the third and fourth photographed image groups by photographing the target object POB to which different incidental substances are added. The incidental matter added to the object POB is not limited to the cannon CN, and weapons other than the cannon CN, armor, equipment (equipment other than weapons and armor), ornaments (accessories, decorations, etc.) Or, it may be personal belongings (bag, watch, etc.).
また図２２（Ｂ）では、変身等により形状変形した対象物ＰＯＢが配置部１０に配置されている。即ち図２２（Ｂ）の対象物ＰＯＢは、図２１（Ａ）とは異なる形状に形状変形したものになっている。例えば地上用のロボットから、飛行機形状のロボットに形状変形している。図２２（Ｂ）の対象物ＰＯＢは、図２１（Ａ）の対象物ＰＯＢ自体のパーツ等を変更して形状変形させたものであってもよいし、図２１（Ａ）の対象物ＰＯＢとは別個にプレーヤが用意した対象物（第２の対象物）であってもよい。例えば図２１（Ａ）に示すような通常タイプの対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第１の撮影画像群が取得される。また図２２（Ｂ）に示すような特殊な形状に形状変形した対象物ＰＯＢを配置部１０に配置して、複数の撮影方向から撮影することで、第２の撮影画像群が取得される。更に異なる第３、第４の形状に形状変形した対象物ＰＯＢを撮影することで、第３、第４の撮影画像群というように３つ以上の撮影画像群を取得してもよい。 Further, in FIG. 22B, the object POB whose shape has been changed due to transformation or the like is placed in the placement unit 10. That is, the object POB of FIG. 22(B) has been deformed into a shape different from that of FIG. 21(A). For example, a ground robot is transformed into an airplane-shaped robot. The object POB shown in FIG. 22(B) may be the object POB shown in FIG. 21(A) that has been changed in shape by changing parts or the like, or may be the object POB shown in FIG. 21(A). May be an object separately prepared by the player (second object). For example, by arranging a normal type object POB as shown in FIG. 21A in the arranging unit 10 and photographing from a plurality of photographing directions, the first photographed image group is acquired. In addition, the second captured image group is acquired by disposing the target object POB deformed into a special shape as shown in FIG. 22B in the disposition unit 10 and capturing images from a plurality of capturing directions. Further, three or more photographed image groups, such as the third and fourth photographed image groups, may be acquired by photographing the object POB that has been deformed into different third and fourth shapes.
また図２３では、第１の撮影画像群の加工を行うことで第２の撮影画像群を取得している。例えば第１の撮影画像群の撮影画像に映るキャラクタ等の表示物が水平方向に引き延ばされるようなサイズ変更の拡大処理を行うことで、第２の撮影画像群が取得されている。例えば第１の撮影画像群の撮影画像に映るキャラクタ等の表示物の表示態様と、第２の撮影画像群の撮影画像に映るキャラクタ等の表示物の表示態様とを、異ならせるような加工処理が行われている。或いは第１の撮影画像群に対してぼかし処理などの画像エフェクト処理の加工処理を行ったり、第１の撮影画像群の色、明るさ又はコントラストを変更する加工処理を行ったり、或いは第１の撮影画像群の左右反転、上下反転又は回転などの加工処理を行ったりすることで、第２の撮影画像群を取得してもよい。或いは、敵からの攻撃によりキャラクタ等の表示物が破壊されるように見える加工処理を行って、第２の撮影画像群を取得してもよい。 Further, in FIG. 23, the second captured image group is acquired by processing the first captured image group. For example, the second captured image group is acquired by performing enlargement processing of size change such that a display object such as a character shown in the captured image of the first captured image group is stretched in the horizontal direction. For example, a processing for changing the display mode of display objects such as characters displayed in the captured images of the first captured image group and the display mode of display objects such as characters displayed in the captured images of the second captured image group. Is being done. Alternatively, a processing process such as an image effect process such as a blurring process is performed on the first captured image group, a processing process is performed to change the color, brightness, or contrast of the first captured image group, or the first captured image group is processed. The second captured image group may be acquired by performing processing such as left-right inversion, vertical inversion, or rotation of the captured image group. Alternatively, the second captured image group may be acquired by performing a processing process in which a display object such as a character is destroyed by an attack from an enemy.
また本実施形態では、図２４に示すように、プレーヤの操作入力情報に応じて、第１、第２の撮影画像群の一方の撮影画像群を選択する。例えばプレーヤが第１の操作入力を行ったと判断された場合には、第１、第２の撮影画像群のうちの第１の撮影画像群を選択する。一方、プレーヤが第２の操作入力を行ったと判断された場合には、第１、第２の撮影画像群のうちの第２の撮影画像群を選択する。そして選択された一方の撮影画像群の撮影画像に基づいて、テクスチャを生成し、生成されたテクスチャをプリミティブにマッピングすることで、仮想カメラから見える仮想空間画像を生成する。このようにすれば、プレーヤの操作入力情報に応じた適切な撮影画像群を選択し、選択された撮影画像群の撮影画像に基づくテクスチャがマッピングされた画像を、対象物に対応する表示物の画像として生成できるようになる。 Further, in the present embodiment, as shown in FIG. 24, one of the first and second captured image groups is selected according to the operation input information of the player. For example, when it is determined that the player has performed the first operation input, the first captured image group is selected from the first and second captured image groups. On the other hand, when it is determined that the player has performed the second operation input, the second captured image group is selected from the first and second captured image groups. Then, a texture is generated based on the captured image of the selected one captured image group, and the generated texture is mapped to a primitive to generate a virtual space image viewed from the virtual camera. In this way, an appropriate captured image group corresponding to the operation input information of the player is selected, and the image to which the texture based on the captured image of the selected captured image group is mapped is displayed on the display object corresponding to the target object. Can be generated as an image.
例えばプレーヤが、キャラクタを移動させるなどの通常の操作入力（第１の操作入力）を行っている場合には、図２１（Ａ）に示すような通常ポーズの対象物ＰＯＢを撮影することにより得られた第１の撮影画像群を選択する。一方、プレーヤが、武器により敵を攻撃する操作入力（第２の操作入力）を行った場合には、図２１（Ｂ）に示すような武器により攻撃するポーズの対象物ＰＯＢを撮影することにより得られた第２の撮影画像群を選択する。これにより、武器により攻撃するポーズのキャラクタの画像を含む仮想空間画像を生成できるようになる。或いは、プレーヤがキャノン砲ＣＮを装着する操作入力（第２の操作入力）を行った場合には、図２２（Ａ）に示すようなキャノン砲ＣＮを装着した対象物ＰＯＢを撮影することにより得られた第２の撮影画像群を選択する。これにより、キャノン砲ＣＮを装備したキャラクタの画像を含む仮想空間画像を生成できるようになる。或いは、プレーヤが特殊形状に形状変形（変身）する操作入力（第２の操作入力）を行った場合には、図２２（Ｂ）に示すような特殊形状に形状変形した対象物ＰＯＢを撮影することにより得られた第２の撮影画像群を選択する。これにより、特殊形状に変形したキャラクタの画像を含む仮想空間画像を生成できるようになる。 For example, when the player is performing a normal operation input (first operation input) such as moving the character, it can be obtained by photographing the object POB in the normal pose as shown in FIG. 21(A). The selected first captured image group is selected. On the other hand, when the player inputs an operation to attack the enemy with the weapon (second operation input), by shooting the object POB in the pose of attacking with the weapon as shown in FIG. The obtained second captured image group is selected. This makes it possible to generate a virtual space image including an image of a character in a pose attacking with a weapon. Alternatively, when the player performs an operation input (second operation input) for wearing the cannon CN, it can be obtained by photographing the object POB with the cannon CN mounted as shown in FIG. The selected second captured image group is selected. This makes it possible to generate a virtual space image including an image of a character equipped with the cannon CN. Alternatively, when the player performs an operation input (second operation input) for deforming (transforming) into a special shape, the object POB deformed into the special shape as shown in FIG. 22B is photographed. The second captured image group obtained by the above is selected. This makes it possible to generate a virtual space image including the image of the character transformed into the special shape.
また本実施形態では、対象物の分析結果と、プレーヤの操作入力情報に応じて、第１、第２の撮影画像群の一方の撮影画像群を選択し、選択された一方の撮影画像群の撮影画像に基づいて、テクスチャを生成する。このようにすれば、プレーヤの操作入力情報のみならず、対象物の分析結果に応じた適切な撮影画像群を選択し、選択された撮影画像群の撮影画像に基づくテクスチャがマッピングされた画像を、対象物に対応する表示物の画像として生成できるようになる。図２５はこのような手法による仮想空間画像の生成処理を説明するフローチャートである。 Further, in the present embodiment, one of the first and second photographed image groups is selected according to the analysis result of the object and the operation input information of the player, and one of the selected photographed image groups is selected. A texture is generated based on the captured image. By doing so, not only the operation input information of the player but also an appropriate captured image group according to the analysis result of the target object is selected, and an image in which the texture based on the captured image of the selected captured image group is mapped is selected. , It becomes possible to generate as an image of the display object corresponding to the target object. FIG. 25 is a flowchart for explaining the virtual space image generation processing by such a method.
まず撮影画像等に基づく対象物の分析処理を行う（ステップＳ３１）。例えば対象物のシルエット分析等を行って、対象物の種類や形状を特定する。またプレーヤの操作入力情報を判断する（ステップＳ３２）。例えば操作部１６０を用いてプレーヤが入力した操作入力情報に基づいて、プレーヤがどのような操作入力を行ったかを判断する。そして対象物の分析結果と、プレーヤの操作入力情報に応じて、第１、第２の撮影画像群の一方の撮影画像群を選択する（ステップＳ３３）。例えば対象物の分析結果に基づいて、対象物の種類を特定し、プレーヤが、その種類の対象物について用意された特定の操作入力を行ったかを判断する。そして、選択された一方の撮影画像群の撮影画像に基づいて、テクスチャを生成し、生成されたテクスチャをマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する（ステップＳ３４、Ｓ３５）。 First, an analysis process of an object based on a captured image or the like is performed (step S31). For example, the silhouette and the like of the object are analyzed to identify the type and shape of the object. Also, the operation input information of the player is determined (step S32). For example, based on the operation input information input by the player using the operation unit 160, it is determined what operation input the player has made. Then, one of the first and second photographed image groups is selected according to the analysis result of the object and the operation input information of the player (step S33). For example, the type of the target object is specified based on the analysis result of the target object, and it is determined whether or not the player has performed a specific operation input prepared for the target object of that type. Then, a texture is generated based on the photographed image of the selected one photographed image group, and the generated texture is mapped to generate a virtual space image viewed from the virtual camera in the virtual space (steps S34 and S35). ..
例えば対象物が、ロボットのプラモデルである場合には、複数種類のロボットのプラモデルが存在するため、シルエット分析等により、どの種類のロボットのプラモデルを撮影したのかを特定する。そして、第１の種類のロボットのプラモデルである場合には、プレーヤが第１の操作入力を行ったときに、対応するキャラクタが特殊技を繰り出すようなゲームの設定になっていたとする。この場合には、撮影画像に基づく分析処理により、対象物であるロボットのプラモデルが第１の種類であることが特定され、且つ、プレーヤが第１の操作入力を行った場合に、特殊技を繰り出すときに使用される第２の撮影画像群を選択する。そして第２の撮影画像群の撮影画像に基づき生成されたテクスチャを、プリミティブにマッピングして、仮想空間画像を生成する。このようにすることで、第１の種類のロボットのプラモデルに対応するキャラクタが特殊技を繰り出す画像が生成されるようになり、仮想現実感の向上等を図れるようになる。 For example, when the object is a plastic model of a robot, since there are a plurality of types of robot plastic models, it is possible to identify which type of robot plastic model was photographed by silhouette analysis or the like. Then, in the case of the plastic model of the first type of robot, it is assumed that the game is set such that when the player performs the first operation input, the corresponding character performs a special skill. In this case, when the plastic model of the object robot is specified as the first type by the analysis process based on the captured image, and the player performs the first operation input, the special technique is performed. The second captured image group used when feeding is selected. Then, the texture generated based on the captured images of the second captured image group is mapped to the primitive to generate the virtual space image. By doing so, it is possible to generate an image in which the character corresponding to the plastic model of the robot of the first type performs a special technique, and to improve the virtual reality.
また本実施形態では、移動制御情報に基づいて仮想空間においてプリミティブを移動させる処理を行う。そして図２６に示すように、第１、第２の撮影画像群の一方の撮影画像群から移動制御情報に応じて選択された撮影画像に基づいて、テクスチャを生成する。そして移動制御情報に応じて変化するテクスチャを、プリミティブにマッピングして、仮想空間画像を生成する。このようにすれば、図３（Ａ）〜図１１（Ｃ）で説明した手法により仮想空間画像を生成することが可能になり、移動制御情報に応じたキャラクタ等の表示物の適切な画像を生成できるようになる。 Further, in the present embodiment, processing for moving the primitive in the virtual space is performed based on the movement control information. Then, as shown in FIG. 26, a texture is generated based on the photographed image selected from the one of the first and second photographed image groups according to the movement control information. Then, the texture that changes according to the movement control information is mapped to the primitive to generate a virtual space image. By doing so, it becomes possible to generate a virtual space image by the method described in FIGS. 3A to 11C, and an appropriate image of a display object such as a character according to the movement control information can be displayed. Will be able to generate.
また本実施形態では、第１の撮影画像群の撮影画像と第２の撮影画像群の撮影画像を合成することで、テクスチャを生成する。 In the present embodiment, the texture is generated by combining the captured images of the first captured image group and the captured images of the second captured image group.
例えば図２７（Ａ）では、第１の撮影画像群である撮影画像ＩＭＸ１〜ＩＭＸｊと、第２の撮影画像群である撮影画像ＩＭＹ１〜ＩＭＹｊが取得されている。そして第１の撮影画像群の撮影画像ＩＭＸｉと、第２の撮影画像群の撮影画像ＩＭＹｉの合成を行うことで、合成画像ＩＭＸＹを生成する。例えばα合成などの合成処理を行って、合成画像ＩＭＸＹを生成する。そして合成画像ＩＭＸＹに基づいてテクスチャを生成して、プリミティブにマッピングする。これにより、プリミティブの画像を含む仮想空間画像が生成される。このようにすれば、第１の撮影画像群の撮影画像と第２の撮影画像群の撮影画像の両方が反映させたテクスチャを生成し、生成されたテクスチャがマッピングされた画像を、対象物に対応する表示物の画像として生成できるようになる。 For example, in FIG. 27A, captured images IMX1 to IMXj that are the first captured image group and captured images IMY1 to IMYj that are the second captured image group are acquired. Then, the photographed image IMXi of the first photographed image group and the photographed image IMYi of the second photographed image group are combined to generate a combined image IMXY. For example, a combining process such as α combining is performed to generate a combined image IMXY. Then, a texture is generated based on the composite image IMXY and mapped to the primitive. As a result, a virtual space image including the primitive image is generated. By doing this, a texture that reflects both the captured images of the first captured image group and the captured image of the second captured image group is generated, and the image onto which the generated texture is mapped is set as the target object. It becomes possible to generate as an image of the corresponding display object.
例えば図２７（Ｂ）において、第１の撮影画像群が、対象物が第１のポーズである場合の撮影画像群であり、第２の撮影画像群が、対象物が第２のポーズである場合の撮影画像群であったとする。第１のポーズは例えば図２１（Ａ）に示すようなポーズであり、第２のポーズは例えば図２１（Ｂ）に示すようなポーズである。そして図２４、図２５で説明したように、プレーヤの操作入力情報などに基づいて、第１の撮影画像群に基づくテクスチャによるキャラクタの画像の生成から、第２の撮影画像群に基づくテクスチャによるキャラクタの画像の生成に切り替える処理を行ったとする。このようにすることで、第１のポーズのキャラクタの画像が表示される仮想空間画像から、第２のポーズのキャラクタの画像が表示される仮想空間画像に切り替える処理が可能になる。例えば図２１（Ａ）のポーズのキャラクタの画像が表示される仮想空間画像から、図２１（Ｂ）のポーズのキャラクタの画像が表示される仮想空間画像に切り替える処理が可能になる。この場合に、当該切り替え処理の切り替え期間において、第１、第２の撮影画像群の撮影画像の合成画像ＩＭＸＹに基づくテクスチャを生成して、プリミティブにマッピングする。このようにすれば、第１のポーズと第２のポーズを補間するようなポーズのキャラクタの画像を、切り替え期間において表示できるようになる。例えば図２１（Ａ）のポーズと図２１（Ｂ）のポーズを補間するような中間ポーズのキャラクタの画像を、切り替え期間において表示できるようになる。これによりモーション補間のような処理が可能になり、キャラクタのポーズのスムーズな切り替え処理を実現できるようになる。 For example, in FIG. 27B, the first captured image group is a captured image group in the case where the target object has the first pose, and the second captured image group is the target object is the second pose. In this case, it is assumed that the captured image group is. The first pose is, for example, the pose shown in FIG. 21(A), and the second pose is, for example, the pose shown in FIG. 21(B). Then, as described with reference to FIGS. 24 and 25, based on the operation input information of the player and the like, from the generation of the image of the character by the texture based on the first captured image group to the character by the texture based on the second captured image group. It is assumed that the processing for switching to the generation of the image is performed. By doing so, it is possible to perform the process of switching from the virtual space image in which the image of the character in the first pose is displayed to the virtual space image in which the image of the character in the second pose is displayed. For example, it is possible to switch from the virtual space image in which the image of the character in the pose of FIG. 21A is displayed to the virtual space image in which the image of the character in the pose of FIG. 21B is displayed. In this case, during the switching period of the switching process, a texture based on the composite image IMXY of the captured images of the first and second captured image groups is generated and mapped to the primitive. By doing so, it becomes possible to display an image of a character having a pose that interpolates the first pose and the second pose during the switching period. For example, an image of a character in an intermediate pose that interpolates the pose of FIG. 21A and the pose of FIG. 21B can be displayed during the switching period. As a result, processing such as motion interpolation can be performed, and smooth switching processing of character poses can be realized.
なお、図２１（Ａ）のような対象物ＰＯＢを撮影することによる第１の撮影画像群の撮影画像と、図２１（Ａ）のような形状変形した対象物ＰＯＢを撮影することによる第２の撮影画像群の撮影画像の合成画像を用いて、図２７（Ｂ）のような切り替え処理を行ってもよい。このようにすれば、キャラクタがスムーズに形状変形するような仮想空間画像を生成できるようになる。 It should be noted that the photographed images of the first photographed image group obtained by photographing the object POB as shown in FIG. 21A and the second photographed image of the shape-deformed object POB as shown in FIG. The switching process as shown in FIG. 27B may be performed using a composite image of the captured images of the captured image group. By doing so, it becomes possible to generate a virtual space image in which the character is smoothly deformed.
また本実施形態では、対象物の分析結果に基づいて、プレーヤがプレイするゲームのゲームパラメータを設定し、設定されたゲームパラメータに基づいてゲーム処理を行う。図２８に、このような処理を行う場合のフローチャートを示す。 Further, in the present embodiment, the game parameter of the game played by the player is set based on the analysis result of the target object, and the game process is performed based on the set game parameter. FIG. 28 shows a flowchart for performing such processing.
まず撮影画像等に基づく対象物の分析処理を行う（ステップＳ４１）。例えば対象物のシルエット分析等を行って、対象物の種類や形状を特定する。そして対象物の分析結果に基づいて、プレーヤがプレイするゲームのゲームパラメータを設定する（ステップＳ４２）。例えば対象物に対応するキャラクタ等の攻撃力、守備力、耐久力、移動能力、走行能力、特殊能力、特殊スキル、ヒットポイント、マジックポイント又はレベル等のゲームパラメータを設定する。例えばゲームパラメータの基本値である初期パラメータ値を設定する。そして設定されたゲームパラメータに基づいて、ゲーム処理を実行する（ステップＳ４３）。例えば、設定されたゲームパラメータに基づいて、キャラクタ等が登場するゲームの処理が行われる。例えばゲームの開始処理、ゲームの進行処理、ゲームの終了処理又はゲーム成績の演算処理などが行われる。 First, an analysis process of an object based on a captured image or the like is performed (step S41). For example, the silhouette and the like of the object are analyzed to identify the type and shape of the object. Then, the game parameter of the game played by the player is set based on the analysis result of the object (step S42). For example, game parameters such as offensive power, defensive power, durability, moving ability, running ability, special ability, special skill, hit points, magic points, or level of a character or the like corresponding to an object are set. For example, the initial parameter value which is the basic value of the game parameter is set. Then, the game process is executed based on the set game parameter (step S43). For example, processing of a game in which a character or the like appears is performed based on the set game parameter. For example, a game start process, a game progress process, a game end process, a game score calculation process, and the like are performed.
このようにすれば、対象物の撮影画像に基づくキャラクタ等の表示物を表示できると共に、対象物の分析結果に基づいて、キャラクタ等の表示物が登場するゲームの処理に用いられるゲームパラメータを設定できるようになる。これにより対象物に対応する表示物が仮想空間に登場するゲームを実現できると共に、当該ゲームの処理のゲームパラメータについても、対象物の分析結果である対象物の種類等に基づき設定できるようになるため、これまでにない面白味のあるゲームを実現できるようになる。 By doing this, it is possible to display a display object such as a character based on the captured image of the target object, and set the game parameter used for the processing of the game in which the display object such as the character appears based on the analysis result of the target object. become able to. This makes it possible to realize a game in which the display object corresponding to the target object appears in the virtual space, and also to set the game parameter of the processing of the game based on the type of the target object which is the analysis result of the target object. Therefore, it will be possible to realize a game that has never been more interesting.
なお、対象物のシルエット分析等の分析結果のみならず、プレーヤ情報に基づいて、ゲームパラメータを設定してもよい。例えばプレーヤの個人情報などに基づいて、初期値として設定されるゲームパラメータの値を変化させる。 The game parameters may be set based on the player information as well as the analysis result such as the silhouette analysis of the object. For example, the value of the game parameter set as the initial value is changed based on the player's personal information or the like.
また本実施形態では、第１の撮影画像群を受け付けた後、第２の撮影画像群を受け付けた場合に、第２の撮影画像群が第１の撮影画像群と異なる撮影画像群か否かを判断する。そして、異なる撮影画像群と判断された場合に、第２の撮影画像群を記憶部１７０に記憶する。例えば撮影部１６２により対象物を撮影した場合に、撮影された第２の撮影画像群（第２の動画）が、過去に撮影された第１の撮影画像群（第１の動画）と異なる撮影画像群（動画）か否かを判断する。そして異なる撮影画像群であることを条件に、撮影された第２の撮影画像群（第２の動画）を記憶部１７０に保存する。例えば第２の撮影画像群が、第１の撮影画像群と同じ対象物を撮影した撮影画像群である場合には、記憶部１７０に保存しないようにする。図２９は、このような撮影画像群の保存処理を説明するフローチャートである。 Further, in the present embodiment, when the second captured image group is received after the first captured image group is received, it is determined whether the second captured image group is a different captured image group from the first captured image group. To judge. Then, when it is determined that the captured image groups are different, the second captured image group is stored in the storage unit 170. For example, when the object is photographed by the photographing unit 162, the second photographed image group (second moving image) photographed is different from the first photographed image group (first moving image) photographed in the past. It is determined whether or not it is an image group (moving image). Then, the second captured image group (second moving image) is stored in the storage unit 170 on condition that the captured second image group is different. For example, when the second captured image group is a captured image group obtained by capturing the same object as the first captured image group, the second captured image group is not stored in the storage unit 170. FIG. 29 is a flow chart for explaining the storage processing of such a captured image group.
まず第１の撮影画像群を受け付けて、記憶部１７０に記憶して保存する（ステップＳ５１）。そして第２の撮影画像群が受け付けられたか否かを判断する（ステップＳ５２）。例えば撮影部１６２による撮影により第２の撮影画像群が取得されて受け付けられたか否かを判断する。そして第２の撮影画像群が受け付けられた場合に、第２の撮影画像群は第１の撮影画像群と異なる撮影画像群か否かを判断する（ステップＳ５３）。そして第２の撮影画像群が第１の撮影画像群と異なる撮影画像群であると判断された場合に、第２の撮影画像群を記憶部１７０に記憶して保存する（ステップＳ５４）。 First, the first captured image group is received, stored in the storage unit 170, and saved (step S51). Then, it is determined whether or not the second captured image group has been received (step S52). For example, it is determined whether or not the second photographed image group has been acquired and accepted by the photographing by the photographing unit 162. Then, when the second captured image group is received, it is determined whether the second captured image group is a captured image group different from the first captured image group (step S53). When it is determined that the second captured image group is a captured image group different from the first captured image group, the second captured image group is stored in the storage unit 170 and saved (step S54).
以上のような処理を行えば、同じような撮影画像群（動画）が記憶部１７０に対して無駄に保存されてしまう事態を防止できる。一方、第２の撮影画像群に映る対象物が、第１の撮影画像群の対象物のポーズを変化させた対象物、付随物を付加した対象物、或いは形状変形した対象物である場合には、第２の撮影像群が第１の撮影画像群とは異なる撮影画像群であると判断される。このようにすることで、図２０に示すように、第１、第２の撮影画像群から適切なテクスチャを生成して、プリミティブにマッピングし、対象物に対応する表示物が表示された仮想空間画像を生成できるようになる。 By performing the above-described processing, it is possible to prevent a situation in which a similar captured image group (moving image) is unnecessarily stored in the storage unit 170. On the other hand, when the target object reflected in the second captured image group is a target object in which the pose of the target object in the first captured image group is changed, a target object with an accompanying object, or a target object whose shape is deformed. Is determined to be a captured image group different from the first captured image group. By doing so, as shown in FIG. 20, an appropriate texture is generated from the first and second photographed image groups, mapped to the primitive, and the virtual space in which the display object corresponding to the target object is displayed is displayed. You will be able to generate images.
また本実施形態では、第１、第２の撮影画像群からテクスチャを生成する際に、撮影画像に対するプレーヤの編集を受け付ける。即ちプレーヤによる撮影画像に対する編集を可能にする編集処理を行う。例えば図３０に示すように第１、第２の撮影画像群から選択された撮影画像に対するプレーヤの編集を受け付ける。例えば撮影画像を修正する編集や、撮影画像にマーク、アイコンなどの付加表示物を付加する編集や、撮影画像を変形するなどの編集を、プレーヤが行われるようにする。そして編集後の撮影画像に基づいて、テクスチャを生成し、生成されたテクスチャをプリミティブにマッピングすることで、プリミティブの画像を含む仮想空間画像を生成する。 Further, in the present embodiment, when the texture is generated from the first and second photographed image groups, the editing of the photographed image by the player is accepted. That is, an editing process that enables the player to edit the captured image is performed. For example, as shown in FIG. 30, the player's editing of a captured image selected from the first and second captured image groups is accepted. For example, the player is allowed to perform editing such as correction of a captured image, addition of an additional display object such as a mark or icon to the captured image, and modification of the captured image. Then, a texture is generated on the basis of the edited captured image, and the generated texture is mapped to a primitive to generate a virtual space image including the image of the primitive.
このようにすれば、対象物の撮影画像そのものを用いるのではなく、プレーヤが所望の編集を行った後の撮影画像を用いて、テクスチャを生成し、当該テクスチャがマッピングされたプリミティブの画像を表示できるようになる。これにより、プリミティブの画像により、対象物に対応するキャラクタ等の表示物の画像を表示する場合に、修正された撮影画像に基づいて表示物の画像を表示したり、マーク、アイコンなどの付加表示物が付加された表示物の画像を表示できるようになる。 By doing this, instead of using the captured image of the target object itself, the captured image after the player has performed the desired editing is used to generate texture and display the image of the primitive to which the texture is mapped. become able to. As a result, when an image of a display object such as a character corresponding to the target object is displayed by the image of the primitive, the image of the display object is displayed based on the corrected captured image, or an additional display of marks, icons, etc. It becomes possible to display the image of the display object to which the object is added.
また本実施形態では、撮影部１６２による対象物の撮影と、対象物に対応するキャラクタ等を用いたゲームのプレイに対して、共通のポイントを消費するようにしてもよい。即ち、対象物の撮影に必要なコストと、ゲームプレイに必要なコストを共通化する。例えば、プレーヤがゲームプレイにより獲得したポイントを消費することで、対象物の撮影を許可するようにする。例えばゲームプレイを有料にして、プレーヤは、実通貨や、ゲーム内通貨などの仮想通貨を支払ってゲームをプレイする。そして、ゲームにおいてプレーヤがポイントを獲得すると、獲得したポイントの消費を条件にして、撮影部１６２による対象物の撮影を許可するようにする。例えば、プレーヤが初めてゲームプレイを行う際には、プレーヤが所持するプラモデルなどの対象物についての１回の撮影を許可する。そしてプレーヤは、撮影した対象物に対応するキャラクタ等が登場するゲームをプレイする。そして、このゲームにおいてプレーヤがポイントを獲得し、ポイントが一定値以上に達すると、プレーヤによる次の撮影を許可する。これによりプレーヤは、例えば図２１（Ｂ）に示すようなポーズを異ならせたプラモデル（広義には対象物）や、図２２（Ａ）に示すような武器を装備させたプラモデルや、図２２（Ｂ）に示すような形状変形したプラモデルを撮影できるようになる。そしてこれらのプラモデルに対応するキャラクタをゲームに登場させて、ゲームをプレイできるようになるため、繰り返しゲームプレイしても飽きが来にくいゲームを実現できるようになる。 Further, in the present embodiment, common points may be consumed for capturing an object by the image capturing unit 162 and playing a game using a character or the like corresponding to the object. That is, the cost required for shooting an object and the cost required for game play are shared. For example, the player consumes the points acquired by the game play to permit the photographing of the target object. For example, the game play is charged, and the player plays the game by paying real currency or virtual currency such as in-game currency. Then, when the player gains points in the game, the shooting unit 162 is allowed to shoot an object on condition that the acquired points are consumed. For example, when the player plays the game for the first time, one shot of the object such as a plastic model possessed by the player is permitted. Then, the player plays a game in which a character or the like corresponding to the photographed object appears. Then, when the player obtains points in this game and the points reach a certain value or more, the player permits the next shooting. As a result, for example, the player can change the pose as shown in FIG. 21B (object in a broad sense), the weapon equipped with a plastic model as shown in FIG. The plastic model whose shape is deformed as shown in B) can be photographed. Since the characters corresponding to these plastic models can be made to appear in the game and the game can be played, it is possible to realize a game in which the player is less likely to get tired of playing the game repeatedly.
また本実施形態では、撮影画像からテクスチャを生成する際に種々の補正処理や修正処理を行ってもよい。例えばＡＩ（Artificial Intelligence）などの機械学習を利用して、撮影画像からテクスチャを生成するようにしてもよい。例えばプレーヤが対象物を撮影することで取得された撮影画像を記憶部１７０に記憶して蓄積し、蓄積された撮影画像に基づいてＡＩなどの機械学習を行ってもよい。そして機械学習により生成された学習済みモデルを用いて、撮影画像に対する補正処理や修正処理などを行って、テクスチャを生成し、生成されたテクスチャをプリミティブにマッピングするようにしてもよい。 Further, in the present embodiment, various correction processes and correction processes may be performed when generating a texture from a captured image. For example, machine learning such as AI (Artificial Intelligence) may be used to generate a texture from a captured image. For example, a captured image acquired by the player capturing an object may be stored and stored in the storage unit 170, and machine learning such as AI may be performed based on the stored captured image. Then, a learned model generated by machine learning may be used to perform correction processing or correction processing on the captured image to generate a texture, and the generated texture may be mapped to a primitive.
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（対象物、表示物等）と共に記載された用語（プラモデル、キャラクタ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮影画像群の取得処理、プリミティブの移動処理、テクスチャの生成処理、仮想空間画像の生成処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。 It should be noted that although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without substantially departing from the novel matters and effects of the present disclosure. Therefore, all such modifications are included in the scope of the present disclosure. For example, in the specification or the drawings, a term (plastic model, character, etc.) described together with a different term having a broader meaning or the same meaning (object, display object, etc.) at least once is used in any place in the specification or the drawing. Can be replaced with a different term. Also, the captured image group acquisition processing, the primitive movement processing, the texture generation processing, the virtual space image generation processing, etc. are not limited to those described in the present embodiment, and methods, processing, and configurations equivalent to these are also included in the present invention. Included within the scope of disclosure.
ＰＯＢ 対象物、ＰＭ、ＰＭＶ、ＰＭＢ、ＰＭＥ１、ＰＭＥ２ プリミティブ、
ＴＥＸ、ＴＥＸＥ１、ＴＥＸＥ２ テクスチャ、ＰＴ パーティクル、
ＣＨ キャラクタ、ＣＨＥ、ＣＨＥ１、ＣＨＥ２ 敵キャラクタ、ＣＮ キャノン砲、
ＯＢ１〜ＯＢ３ オブジェクト、ＩＭ 撮影画像、ＢＧ 背景、
ＲＤＲ 撮影方向範囲、ＶＣ 仮想カメラ、ＶＬ 視線方向、
ＰＳ 視点位置、ＲＬ レール、ＶＭ ビューボリューム、
ＶＮ 噴射炎、ＢＭ ビーム、ＤＣＭ 撮影方向、
１０ 配置部、１２ 回転移動機構、１６ 支持部、２０ 背景部、
１００ 処理部、１０６ ゲーム処理部、１０８ 編集処理部、１１０ 取得部、
１１１ 分析部、１１２ 移動処理部、１１４ テクスチャ生成部、
１２０ 画像生成部、１３０ 音生成部、１６０ 操作部、１６２ 撮影部、
１７０ 記憶部、１７６ 撮影画像情報記憶部、１７７ 仮想空間情報記憶部、
１７８ 描画バッファ、１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、
１９４ Ｉ／Ｆ部、１９５ 携帯型情報記憶媒体、１９６ 通信部、
２００ 処理装置、２１０ ゲーム装置、２２０ 撮影用筐体
POB object, PM, PMV, PMB, PME1, PME2 primitive,
TEX, TEX1 and TEX2 textures, PT particles,
CH character, CHE, CHE1, CHE2 enemy character, CN cannon,
OB1 to OB3 objects, IM images, BG backgrounds,
RDR shooting direction range, VC virtual camera, VL line-of-sight direction,
PS viewpoint position, RL rail, VM view volume,
VN jet flame, BM beam, DCM shooting direction,
10 arrangement part, 12 rotation movement mechanism, 16 support part, 20 background part,
100 processing unit, 106 game processing unit, 108 editing processing unit, 110 acquisition unit,
111 analysis unit, 112 movement processing unit, 114 texture generation unit,
120 image generation unit, 130 sound generation unit, 160 operation unit, 162 imaging unit,
170 storage unit, 176 photographed image information storage unit, 177 virtual space information storage unit,
178 drawing buffer, 180 information storage medium, 190 display section, 192 sound output section,
194 I/F unit, 195 portable information storage medium, 196 communication unit,
200 processing device, 210 game device, 220 shooting housing
Claims (15)
取得された前記撮影画像群を記憶する記憶部と、
移動制御情報に基づいて、仮想空間においてプリミティブを移動させる処理を行う移動処理部と、
前記プリミティブの前記移動制御情報に応じて前記撮影画像群から選択された撮影画像に基づいて、前記プリミティブにマッピングするテクスチャを生成するテクスチャ生成部と、
前記移動制御情報に応じて変化する前記テクスチャを、前記プリミティブにマッピングして、前記仮想空間において仮想カメラから見える仮想空間画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。 An acquisition unit that acquires a captured image group obtained by capturing an object from a plurality of capturing directions by the imaging unit,
A storage unit that stores the acquired captured image group,
A movement processing unit that performs processing for moving the primitive in the virtual space based on the movement control information,
A texture generation unit that generates a texture to be mapped to the primitive based on a captured image selected from the captured image group according to the movement control information of the primitive,
An image generation unit that maps the texture that changes according to the movement control information to the primitive to generate a virtual space image viewed from a virtual camera in the virtual space,
An image generation system comprising:
前記移動処理部は、
前記プリミティブと前記仮想カメラの位置関係が固定された状態で、前記プリミティブ及び前記仮想カメラを前記移動制御情報に応じて移動させる処理を行うことを特徴とする画像生成システム。 In claim 1,
The movement processing unit,
An image generation system, which performs a process of moving the primitive and the virtual camera according to the movement control information in a state where the positional relationship between the primitive and the virtual camera is fixed.
前記撮影部は、前記対象物と、前記対象物の背景を撮影し、
前記テクスチャ生成部は、
前記撮影画像の各ピクセルの色が、前記背景の色に対応する色か否かを判断して、前記背景の色に対応する色のピクセルであると判断された場合には、前記背景の色に対応する色のピクセルを透明にする処理を行うことで、前記テクスチャを生成することを特徴とする画像生成システム。 In claim 1 or 2,
The photographing unit photographs the object and the background of the object,
The texture generation unit,
If the color of each pixel of the photographed image is determined to be a color corresponding to the background color, and if it is determined to be a pixel of a color corresponding to the background color, the background color An image generation system characterized in that the texture is generated by performing a process of making a pixel of a color corresponding to (5) transparent.
前記テクスチャ生成部は、
前記撮影画像群により構成される動画のシーク制御を前記移動制御情報に基づいて行うことで、前記撮影画像群から前記撮影画像を選択し、選択された前記撮影画像に基づいて前記テクスチャを生成することを特徴とする画像生成システム。 In any one of Claim 1 thru|or 3,
The texture generation unit,
By performing seek control of a moving image composed of the captured image group based on the movement control information, the captured image is selected from the captured image group, and the texture is generated based on the selected captured image. An image generation system characterized by the above.
前記撮影画像群は、前記対象物に対する前記撮影部の撮影方向の変化が１８０度以上の撮影方向範囲となる画像群であることを特徴とする画像生成システム。 In any one of Claim 1 thru|or 4,
The image generation system, wherein the photographed image group is an image group in which a change in the photographing direction of the photographing unit with respect to the object is within a photographing direction range of 180 degrees or more.
前記移動処理部は、
前記移動制御情報に応じて前記プリミティブに対する相対的位置関係が変化する第２のプリミティブの移動処理を行い、
前記画像生成部は、
前記テクスチャがマッピングされた前記プリミティブの画像と、前記第２のプリミティブの画像とを含む画像を、前記仮想空間画像として生成することを特徴とする画像生成システム。 In any one of Claim 1 thru|or 5,
The movement processing unit,
Performing a movement process of a second primitive whose relative positional relationship with respect to the primitive changes according to the movement control information,
The image generation unit,
An image generation system, wherein an image including the image of the primitive onto which the texture is mapped and the image of the second primitive is generated as the virtual space image.
前記移動処理部は、
前記対象物の分析結果に基づき設定される前記第２のプリミティブの初期配置位置から、前記プリミティブを基準に前記第２のプリミティブを移動させる処理を行うことを特徴とする画像生成システム。 In claim 6,
The movement processing unit,
An image generating system, which performs a process of moving the second primitive based on the primitive from an initial arrangement position of the second primitive set based on an analysis result of the object.
前記画像生成部は、
前記第２のプリミティブの隠面消去処理を、前記移動制御情報に応じて行うことを特徴とする画像生成システム。 In Claim 6 or 7,
The image generation unit,
An image generation system, wherein the hidden surface removal processing of the second primitive is performed according to the movement control information.
前記第２のプリミティブの画像は、エフェクト画像であることを特徴とする画像生成システム。 In any one of Claim 6 thru|or 8,
The image generation system, wherein the image of the second primitive is an effect image.
前記画像生成部は、
前記仮想空間画像として、前記プリミティブの画像と、前記仮想空間に設定される複数のオブジェクトの画像とを含む画像を生成し、生成された前記仮想空間画像に対してポストエフェクト処理を行うことを特徴とする画像生成システム。 In any one of Claim 1 thru|or 9,
The image generation unit,
An image including the image of the primitive and images of a plurality of objects set in the virtual space is generated as the virtual space image, and post-effect processing is performed on the generated virtual space image. Image generation system.
前記取得部は、
他の表示物に対応する他の対象物を複数の撮影方向から撮影することで得られる他の表示物用の撮影画像群を取得し、
前記テクスチャ生成部は、
他の表示物用の移動制御情報に応じて前記他の表示物用の撮影画像群から選択された撮影画像に基づいて、他の表示物用のテクスチャを生成し、
前記画像生成部は、
前記他の表示物用の移動制御情報に応じて変化する前記他の表示物用のテクスチャを、他の表示物用のプリミティブにマッピングして、前記仮想空間画像を生成することを特徴とする画像生成システム。 In any one of Claim 1 thru|or 10,
The acquisition unit is
Acquiring a captured image group for another display object obtained by shooting another target object corresponding to another display object from a plurality of shooting directions,
The texture generation unit,
Based on the captured image selected from the captured image group for the other display object according to the movement control information for the other display object, to generate a texture for the other display object,
The image generation unit,
An image characterized by generating a virtual space image by mapping a texture for the other display object, which changes according to the movement control information for the other display object, to a primitive for the other display object. Generation system.
前記画像生成部は、
前記プリミティブの周囲にパーティクルが表示される画像を、前記仮想空間画像として生成することを特徴とする画像生成システム。 In any one of Claim 1 thru|or 11,
The image generation unit,
An image generation system, wherein an image in which particles are displayed around the primitive is generated as the virtual space image.
前記撮影部と、
前記対象物が配置される配置部と、
前記配置部に配置された前記対象物に対する前記撮影部の撮影方向を変化させるための回転移動を行う回転移動機構と、
を含むことを特徴とする画像生成システム。 In any one of Claim 1 thru|or 12,
The photographing unit,
An arrangement part in which the object is arranged,
A rotational movement mechanism that performs rotational movement for changing the imaging direction of the imaging unit with respect to the object arranged in the arrangement unit;
An image generation system comprising:
前記対象物を空中に浮遊させた状態で支持する支持部を含むことを特徴とする画像生成システム。 In claim 13,
An image generation system comprising: a support unit that supports the object in a state of being suspended in the air.
取得された前記撮影画像群を記憶する記憶部と、
移動制御情報に基づいて、仮想空間においてプリミティブを移動させる処理を行う移動処理部と、
前記プリミティブの前記移動制御情報に応じて前記撮影画像群から選択された撮影画像に基づいて、前記プリミティブにマッピングするテクスチャを生成するテクスチャ生成部と、
前記移動制御情報に応じて変化する前記テクスチャを、前記プリミティブにマッピングして、前記仮想空間において仮想カメラから見える仮想空間画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。 An acquisition unit that acquires a captured image group obtained by capturing an object from a plurality of capturing directions by the imaging unit,
A storage unit that stores the acquired captured image group,
A movement processing unit that performs processing for moving the primitive in the virtual space based on the movement control information,
A texture generation unit that generates a texture to be mapped to the primitive based on a captured image selected from the captured image group according to the movement control information of the primitive,
The texture that changes according to the movement control information, is mapped to the primitive, as an image generation unit that generates a virtual space image viewed from a virtual camera in the virtual space,
A program that causes a computer to function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018248126A JP7418956B2 (en) | 2018-12-28 | 2018-12-28 | Image generation system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018248126A JP7418956B2 (en) | 2018-12-28 | 2018-12-28 | Image generation system and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020107251A true JP2020107251A (en) | 2020-07-09 |
| JP7418956B2 JP7418956B2 (en) | 2024-01-22 |
Family
ID=71449243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018248126A Active JP7418956B2 (en) | 2018-12-28 | 2018-12-28 | Image generation system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7418956B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023092380A1 (en) * | 2021-11-25 | 2023-06-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of suggesting shooting position and posture for electronic device having camera, electronic device and computer-readable storage medium |
| JP7442604B1 (en) | 2022-11-29 | 2024-03-04 | 株式会社バンダイ | Image processing method, information processing device, and computer program |
| EP4339896A1 (en) | 2022-09-13 | 2024-03-20 | Bandai Co., Ltd. | Reconstructing a video image |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259685A (en) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | Three-dimensional cg picture video merging device |
| JP2002058045A (en) * | 2000-08-08 | 2002-02-22 | Komatsu Ltd | System and method for entering real object into virtual three-dimensional space |
| US20150163402A1 (en) * | 2013-12-10 | 2015-06-11 | Google Inc. | Method and Apparatus for Centering Swivel Views |
| JP2017118979A (en) * | 2015-12-28 | 2017-07-06 | 株式会社バンダイナムコエンターテインメント | Game device and program |
| JP6434667B1 (en) * | 2018-04-19 | 2018-12-05 | 株式会社 ディー・エヌ・エー | Program, system, and method for providing virtual space |
-
2018
- 2018-12-28 JP JP2018248126A patent/JP7418956B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259685A (en) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | Three-dimensional cg picture video merging device |
| JP2002058045A (en) * | 2000-08-08 | 2002-02-22 | Komatsu Ltd | System and method for entering real object into virtual three-dimensional space |
| US20150163402A1 (en) * | 2013-12-10 | 2015-06-11 | Google Inc. | Method and Apparatus for Centering Swivel Views |
| JP2017118979A (en) * | 2015-12-28 | 2017-07-06 | 株式会社バンダイナムコエンターテインメント | Game device and program |
| JP6434667B1 (en) * | 2018-04-19 | 2018-12-05 | 株式会社 ディー・エヌ・エー | Program, system, and method for providing virtual space |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023092380A1 (en) * | 2021-11-25 | 2023-06-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of suggesting shooting position and posture for electronic device having camera, electronic device and computer-readable storage medium |
| EP4339896A1 (en) | 2022-09-13 | 2024-03-20 | Bandai Co., Ltd. | Reconstructing a video image |
| KR20240036484A (en) | 2022-09-13 | 2024-03-20 | 가부시키가이샤 반다이 | Image processing method, information processing device, and computer program |
| JP7442604B1 (en) | 2022-11-29 | 2024-03-04 | 株式会社バンダイ | Image processing method, information processing device, and computer program |
| EP4379668A1 (en) | 2022-11-29 | 2024-06-05 | Bandai Co., Ltd. | Generation of realistic vr video from captured target object |
| KR20240080113A (en) | 2022-11-29 | 2024-06-05 | 가부시키가이샤 반다이 | Image processing method, information processing apparatus, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7418956B2 (en) | 2024-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109478340B (en) | Simulation system, processing method, and information storage medium | |
| JP5128276B2 (en) | GAME DEVICE, GAME PROGRAM, COMPUTER-READABLE INFORMATION STORAGE MEDIUM, GAME SYSTEM, AND GAME PROCESSING METHOD | |
| JP5300777B2 (en) | Program and image generation system | |
| JP6362634B2 (en) | Image generation system, game device, and program | |
| US20090244064A1 (en) | Program, information storage medium, and image generation system | |
| JP2018109835A (en) | Simulation system and its program | |
| JP7418956B2 (en) | Image generation system and program | |
| JP4761528B2 (en) | GAME PROGRAM AND GAME DEVICE | |
| JP6370820B2 (en) | Image generation system, game device, and program. | |
| JP2007159725A (en) | Game program and game apparatus | |
| JP2019152899A (en) | Simulation system and program | |
| JP2017138915A (en) | Image generation system and program | |
| JP7323751B2 (en) | game system and program | |
| CN112104857A (en) | Image generation system, image generation method, and information storage medium | |
| JP6732463B2 (en) | Image generation system and program | |
| JP7104539B2 (en) | Simulation system and program | |
| JP5649846B2 (en) | Program and image generation system | |
| JP4447000B2 (en) | Image generation system, program, and information storage medium | |
| JP2006252426A (en) | Program, information storage medium, and image generation system | |
| JP7335695B2 (en) | Image generation system and program | |
| JP2004159922A (en) | Image generation system, program and information storage medium | |
| JP4632855B2 (en) | Program, information storage medium, and image generation system | |
| JP3586460B2 (en) | 3D game device and image composition method | |
| JP7442604B1 (en) | Image processing method, information processing device, and computer program | |
| JP2012113642A (en) | Game program, game device, and game control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20201207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7418956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |