JP2006072669A - Image processor, game device, and image processing method - Google Patents
Image processor, game device, and image processing method Download PDFInfo
- Publication number
- JP2006072669A JP2006072669A JP2004254888A JP2004254888A JP2006072669A JP 2006072669 A JP2006072669 A JP 2006072669A JP 2004254888 A JP2004254888 A JP 2004254888A JP 2004254888 A JP2004254888 A JP 2004254888A JP 2006072669 A JP2006072669 A JP 2006072669A
- Authority
- JP
- Japan
- Prior art keywords
- display
- game
- virtual
- real object
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000007423 decrease Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 24
- 238000010191 image analysis Methods 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。 The present invention relates to an image processing technique, and more particularly to a technique for displaying a real object and a virtual object in association with each other.
近年、２次元コードをカメラで撮像して認識し、２次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の１つとして、２次元バーコードをビデオカメラで撮像して、２次元バーコードに対応する３次元画像を表示装置に表示させる画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像した２次元バーコードの座標およびＣＣＤビデオカメラの焦点距離をもとに、３次元オブジェクトを表示する空間上の座標を決定し、２次元バーコードに３次元オブジェクトを重畳させて表示する。
特許文献１に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献１は、１つの２次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の２次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の２次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。
The technique disclosed in
本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の仮想オブジェクトが存在するときに仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。 An object of the present invention is to provide a technique for displaying a real object and a virtual object in association with each other, and in particular, a technique for controlling a display mode of a virtual object when a plurality of virtual objects exist in a field such as a game. The purpose is to provide.
上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくする。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。 In order to solve the above problems, an aspect of the present invention relates to an image processing apparatus. The image processing apparatus according to this aspect includes a storage unit that stores identification information for identifying a real object and three-dimensional image data of the virtual object in association with each other, and a plurality of frame images captured by the imaging apparatus. A reading unit that reads three-dimensional image data of a plurality of virtual objects associated with the identification information of the real object image from the storage unit, and the virtual object is displayed using the read three-dimensional image data. A display control unit that is displayed on the display device in association with the position, and a superimposition determination unit that determines whether or not virtual objects to be displayed on the display device overlap each other. When the superimposition determination unit determines that the virtual objects are to be superimposed, the display control unit adjusts the display mode of the virtual objects to reduce the invisible portion of the virtual object that is generated by the virtual objects being superimposed. To do. Here, the real object is a real object that exists as a tangible object in the real space, and the virtual object does not exist in the real space, but is expressed by data in the virtual space.
この画像処理装置によると、画面奥側に存在して不可視部分をもつ仮想オブジェクトまたは画面手前側に存在して不可視部分を形成する仮想オブジェクトの表示態様を調整することで、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることができる。 According to this image processing apparatus, the virtual object that exists on the back side of the screen and has an invisible part or the virtual object that forms the invisible part that exists on the near side of the screen can be adjusted by adjusting the display mode of the virtual object. The invisible part of the virtual object can be reduced.
本発明の別の態様は、画像処理装置に関する。この態様の画像処理装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、仮想オブジェクトの３次元画像データを記憶する第１格納部と、仮想オブジェクトを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。 Another embodiment of the present invention relates to an image processing apparatus. An image processing apparatus according to this aspect includes an identification information acquisition unit that acquires identification information of a plurality of real object images included in a frame image captured by an imaging device, and a first storage unit that stores three-dimensional image data of a virtual object A second storage unit that stores priorities for displaying virtual objects, a virtual object assignment unit that associates a real object image with a virtual object based on the priorities stored in the second storage unit, and a three-dimensional image A display control unit that displays a plurality of virtual objects in association with the display position of the real object image associated by the virtual object allocation unit using data;
この画像処理装置によると、実オブジェクト画像と仮想オブジェクトとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高い仮想オブジェクトが、優先順位の低い仮想オブジェクトに隠れて見えなくなる事態を回避することができる。 According to this image processing apparatus, the real object image and the virtual object are associated with each other based on the display priority order, so that, for example, a situation where a virtual object with a high priority order is hidden behind a virtual object with a low priority order and is not visible is avoided. can do.
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくする。 Yet another embodiment of the present invention relates to a game device. The game device according to this aspect includes a storage unit that stores identification information for identifying a real object and three-dimensional image data of the game character in association with each other, and a plurality of real images included in the frame image captured by the imaging device. A reading unit that reads three-dimensional image data of a plurality of game characters associated with the identification information of the object image from the storage unit, and using the read three-dimensional image data, the game character is displayed at the display position of the real object image. A display control unit that is displayed on the display device in association with each other, and a superimposition determination unit that determines whether or not the game characters displayed on the display device are superimposed. When the superimposition determining unit determines that the game characters are to be superimposed, the display control unit adjusts the display mode of the game characters to reduce the invisible portion of the game character that is generated by the superimposition of the game characters. To do.
このゲーム装置によると、画面奥側に存在して不可視部分をもつゲームキャラクタまたは画面手前側に存在して不可視部分を形成するゲームキャラクタの表示態様を調整することで、画面奥側に存在するゲームキャラクタの不可視部分を少なくすることができる。 According to this game device, a game character existing on the back side of the screen is adjusted by adjusting a display mode of a game character existing on the back side of the screen and having an invisible part or a game character existing on the front side of the screen and forming an invisible part. The invisible part of the character can be reduced.
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、ゲームキャラクタの３次元画像データを記憶する第１格納部と、ゲームキャラクタを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。 Yet another embodiment of the present invention relates to a game device. The game device according to this aspect includes an identification information acquisition unit that acquires identification information of a plurality of real object images included in a frame image captured by the imaging device, and a first storage unit that stores three-dimensional image data of the game character. A second storage unit for storing the priority order for displaying the game character, a game character assignment unit for associating the real object image with the game character based on the priority order stored in the second storage unit, and three-dimensional image data And a display control unit that causes a plurality of game characters to be displayed on the display device in association with the display position of the real object image associated by the game character allocation unit.
このゲーム装置によると、実オブジェクト画像とゲームキャラクタとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高いゲームキャラクタが、優先順位の低いゲームキャラクタに隠れて見えなくなる事態を回避することができる。 According to this game apparatus, since the real object image and the game character are associated with each other based on the display priority, for example, a situation where a game character with a high priority is hidden behind a game character with a low priority is avoided. be able to.
本発明のさらに別の態様は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップとを備える画像処理方法を提供する。 According to still another aspect of the present invention, a plurality of frames included in a frame image captured by an imaging device from a storage unit that stores identification information for identifying a real object and three-dimensional image data of the virtual object in association with each other. A step of reading out three-dimensional image data of a plurality of virtual objects associated with the identification information of the real object image, a step of determining whether or not the virtual objects to be displayed on the display device are superimposed, and the virtual objects An image processing method is provided that includes, when it is determined to superimpose, adjusting a display mode of the virtual objects to reduce an invisible portion of the virtual objects caused by the superimposition of the virtual objects.
本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得するステップと、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップとを備える画像処理方法を提供する。 According to still another aspect of the present invention, priorities are obtained from a step of acquiring identification information of a plurality of real object images included in a frame image captured by an imaging device, and a storage unit that stores priorities for displaying virtual objects. A step of reading, a step of associating the real object image with the virtual object based on the read priority, and a real object image in which the plurality of virtual objects are associated with each other using the three-dimensional image data of the plurality of virtual objects. And an image processing method including the step of displaying on a display device in association with the display position.
本発明のさらに別の態様は、コンピュータに、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能とを実現させるためのプログラムを提供する。 According to still another aspect of the present invention, a frame image captured by an imaging device is stored in a computer from a storage unit that stores identification information for identifying a real object and three-dimensional image data of a virtual object in association with each other. A function of reading out three-dimensional image data of a plurality of virtual objects associated with identification information of a plurality of included real object images, and a function of determining whether or not virtual objects to be displayed on a display device are superimposed. A program for realizing a function of reducing the invisible portion of a virtual object generated by overlapping virtual objects by adjusting the display mode of the virtual objects when it is determined that the virtual objects overlap each other I will provide a.
本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、を実現させるためのプログラムを提供する。 Still another aspect of the present invention is a function of causing a computer to acquire identification information of a plurality of real object images included in a frame image captured by an imaging device, and a storage unit that stores a priority order for displaying virtual objects. A function for reading the priority order, a function for associating the real object image with the virtual object based on the read priority order, and a plurality of virtual objects using the three-dimensional image data of the plurality of virtual objects. A program for realizing a function of displaying on a display device in association with a display position of a corresponding real object image is provided.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によると、複数の仮想オブジェクトが存在するときに、仮想オブジェクトの表示態様を制御する技術を提供することができる。 According to the present invention, it is possible to provide a technique for controlling the display mode of a virtual object when there are a plurality of virtual objects.
本発明は、撮像装置により撮像された複数の実オブジェクト画像に関連付けて、複数の仮想オブジェクトを表示させる技術を提供する。実オブジェクトは、実在する１次元オブジェクト、２次元オブジェクトまたは３次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、２次元で表現されたコード情報を特徴部分として有するカードなどの２次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する３次元オブジェクトであってもよい。なお、２次元オブジェクトの２次元形状がユニークな特徴部分を構成してもよく、また３次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において３次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。 The present invention provides a technique for displaying a plurality of virtual objects in association with a plurality of real object images captured by an imaging device. The real object may be an existing one-dimensional object, two-dimensional object, or three-dimensional object, and is preferably configured to have a characteristic portion for identifying the real object itself. For example, the real object may be a two-dimensional object such as a card having code information expressed in two dimensions as a characteristic part, or may be a three-dimensional object having a unique three-dimensional shape as a characteristic part. Note that the two-dimensional shape of the two-dimensional object may constitute a unique feature portion, and code information serving as the feature portion may be attached to the three-dimensional object. The virtual object may be a so-called character such as a person, an animal, or an object that is three-dimensionally expressed in the virtual space. The following embodiment relates to an image processing technique in a game application, and employs a game character appearing in the game application as a virtual object.
図１は、本発明の実施例にかかるゲームシステム１の構成を示す。ゲームシステム１は、撮像装置２、画像処理装置１０および出力装置６を備える。画像処理装置１０は、画像解析装置２０およびゲーム装置３０を備える。画像解析装置２０およびゲーム装置３０は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置２は、ＣＣＤ撮像素子またはＭＯＳ撮像素子などから構成されるビデオカメラである。撮像装置２は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域５は撮像装置２により撮像される範囲であり、撮像装置２の高さや向きを調整することで、撮像領域５の位置や大きさが調整される。ゲームプレイヤは、撮像領域５において、実オブジェクトであるゲームカード４を指で動かす。ゲームカード４は、自身を一意に識別するための特徴部分を有して構成される。
FIG. 1 shows a configuration of a
出力装置６は、表示装置であるディスプレイ７を有する。出力装置６は、さらにスピーカ（図示せず）を有して構成されてもよい。画像処理装置１０は、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させ、その際に、ゲームカード４上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図１の例では、撮像領域５に２枚のゲームカード４が存在し、ディスプレイ７には、それぞれのゲームカード４上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ７を見ることで、ゲームカード４が撮像領域５に入っているか容易に確認でき、入っていない場合には、ゲームカード４の位置をずらしたり、また撮像装置２の向きを調整して、撮像装置２にゲームカード４を撮像させるようにする。
The
実施例のゲームアプリケーションでは、プレイヤがゲームカード４に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード４とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード４に重ね合わせて表示させている。
In the game application of the embodiment, the player operates the character by performing a predetermined operation on the
以上のキャラクタの動きは、画像処理装置１０により制御される。まず、画像解析装置２０は、撮像装置２において取得されたフレーム画像から、ゲームカード４の画像情報を抽出する。さらに、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４の空間における位置情報、方向情報、距離情報などを決定する。
The movement of the above characters is controlled by the
図２は、ゲームカード４の表面の一例を示す。ゲームカード４の表面には、方向指示部１１と識別部１２とが印刷されている。方向指示部１１は、ゲームカード４の前部を示すために設けられ、識別部１２は、ゲームカード４を一意に識別するための特徴部分を表現するために設けられる。識別部１２は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、４角のブロックは複数のゲームカード４に共通して付与され、実質的には４角以外のブロックにより、特徴部分が形成される。４角のブロックは、撮像装置２からの距離を測定するために利用される。
FIG. 2 shows an example of the surface of the
図１に戻って、画像解析装置２０は、フレーム画像中のゲームカード４を認識すると、ゲームカード４の画像における４角のブロック間の長さをもとに、撮像装置２とゲームカード４との距離を計算して求める。また、画像解析装置２０は、ゲームカード４の方向指示部１１を検出して、フレーム画像においてゲームカード４が向いている方向を求める。この場合、方向指示部１１が存在する方向が前方となり、キャラクタは、ゲームカード４上にて前方を向くように表示制御される。さらに、画像解析装置２０は、識別部１２の４角以外のブロックから、ゲームカード４の識別情報を取得する。
Returning to FIG. 1, when the
画像解析装置２０において画像解析された結果は、ゲーム装置３０に送られる。なお、撮像装置２において撮像されたフレーム画像が、ゲーム装置３０に送られて、ゲーム装置３０側で画像解析を行ってもよい。この場合、画像処理装置１０は、ゲーム装置３０のみで構成されることになる。
The result of the image analysis performed by the
ゲーム装置３０は、画像解析装置２０における画像解析結果をもとに、ディスプレイ７の表示画面上で、キャラクタをゲームカード４の上に位置するように表示制御する。キャラクタは、ゲームカード４に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。
The
図３は、画像解析装置２０の構成を示す。画像解析装置２０は、フレーム画像取得部４０、実オブジェクト抽出部４２、状態決定部４４、識別情報取得部４６、識別情報格納部４８および送出部５０を備える。識別情報格納部４８は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図２におけるゲームカード４の識別部１２のパターン情報と、識別情報とを１対１に対応付けて記憶している。例えば、５枚のゲームカード４の同時使用を許可するゲームシステム１の場合、それぞれのゲームカード４に対して、１から５までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード４のそれぞれを識別情報と紐付けすることで、個々のゲームカード４が認識可能となる。状態決定部４４は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード４の位置を決定する位置決定部５２、方向を決定する方向決定部５４および撮像装置２からの焦点距離を決定する距離決定部５６を有する。
FIG. 3 shows the configuration of the
フレーム画像取得部４０が、撮像装置２にて撮像された実空間のフレーム画像を取得する。ここでは、図１に示すように、撮像領域５に複数枚のゲームカード４が配置されている状態を想定する。撮像装置２は、周期的にフレーム画像を取得し、好適には１／６０秒間隔でフレーム画像を生成する。
The frame
実オブジェクト抽出部４２は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード４の画像を抽出する。この処理は、画像情報を２進数のビット表現に変換し、このビット表現からゲームカード４の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部４２は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード４の画像をフレーム画像から切り出すことができる。
The real
状態決定部４４は、ゲームカード４を置いて動かすための台３のジオメトリ情報を予め検出しておき、さらに台３の表面を基準面として、その基準面上にゲームカード４を載せた姿勢のジオメトリ情報をゲームカード４の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置２を基準として生成されてもよい。状態決定部４４は、台３に関して取得したジオメトリ情報から、台３の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部５２は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部５２は、ゲームカード４の位置に加えて、ゲームカード４の基準面に対するゲームカード４の傾きおよび高さを、初期状態として記録したゲームカード４の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部５４は、実オブジェクト画像の方向を定める。方向決定部５４は、実オブジェクト画像の中から図２に示す方向指示部１１を検出して、実オブジェクトの向きを定めてもよい。距離決定部５６は、ゲームカード４の画像における識別部１２の４角間の長さをもとに、撮像装置２とゲームカード４との距離を決定する。識別情報取得部４６は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部４８から対応する識別情報を取得する。
The
状態決定部４４において決定された位置情報、方向情報、距離情報、および識別情報取得部４６において取得された識別情報は、それぞれ関連付けされて送出部５０からゲーム装置３０に送られる。なお、この関連付けは、それぞれのゲームカード４ごとに行われる。また、本実施例では、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させるため、フレーム画像自体も送出部５０からゲーム装置３０に送られる。
The position information, the direction information, the distance information, and the identification information acquired by the identification
（実施例１）
図４は、ゲーム装置３０の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、キャラクタ格納部１０６、重畳判定部１０８、優先順位格納部１１０および表示制御部１２０を備える。
Example 1
FIG. 4 shows the configuration of the
実施例１におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、重畳判定部１０８、表示制御部１２０としての機能をもつ。
The processing function of the
解析情報取得部１００は、画像解析装置２０から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード４の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部１００は、受け取った解析結果をゲーム進行処理部１０２に渡す。なお、解析情報取得部１００は、撮像装置２からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置３０が、画像解析装置２０における機能を有して、画像解析装置２０に関して説明した処理と同様の処理を実行すればよい。
The analysis
ゲーム進行処理部１０２は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部１０４に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた識別情報を伝える。キャラクタ格納部１０６は、ゲームステージごとに、ゲームカード４の識別情報とキャラクタの３次元画像データとを対応付けて記憶する。
The game
キャラクタ決定部１０４は、ゲームステージ名と複数の識別情報をもとに、複数の識別情報に対応付けられた複数のキャラクタの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。なお、読み出した３次元画像データは、表示制御部１２０に直接供給されてもよい。ゲーム進行処理部１０２は表示制御部１２０に、３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を供給する。表示制御部１２０は、３次元画像データを用いて、キャラクタをゲームカード画像の表示位置に関連付けてディスプレイ７に表示させる。このとき、キャラクタは、ゲームカード画像の表示範囲内に表示される。なお、表示範囲内に表示するとは、キャラクタの最下部がゲームカード画像上に位置していることを意味する。
The
具体的に、表示制御部１２０は、画像解析装置２０から送られるフレーム画像を受け取り、ディスプレイ７に表示させる。また、表示制御部１２０は、ゲームカード画像の位置情報、方向情報、距離情報をもとにゲームカード画像の位置、向き、距離を認識し、３次元画像データを用いてディスプレイ７に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部１２０は、通常の表示態様では、ゲームカード画像の中心点近傍に位置するように、キャラクタの表示位置を定める。
Specifically, the
プレイヤがゲームカード４を動かすと、フレーム画像の解析結果が画像解析装置２０から解析情報取得部１００に逐次送られる。表示制御部１２０は、ゲーム進行処理部１０２からキャラクタの３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を受け取り、ディスプレイ７におけるゲームカード画像の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード画像の動きに追従させる。これにより、ディスプレイ７では、キャラクタがゲームカード画像に常に乗っている表示態様となり、キャラクタとゲームカード４との一体感をプレイヤに認識させることができる。
When the player moves the
図５は、キャラクタ同士が重なって表示される例を示す。ここでは、画面手前側に存在するゲームカード４ａのキャラクタ２００ａと、画面奥側に存在するゲームカード４ｂのキャラクタ２００ｂとが重畳して示される。キャラクタ２００ａは「高い建物」であり、「人」であるキャラクタ２００ｂは、キャラクタ２００ａの背後に存在するため、ほとんど見えない状態となっている。ゲームアプリケーションにおいて、主人公となるキャラクタは、建物などのキャラクタと比して小さく表示されることが多いため、実オブジェクト画像に関連付けてキャラクタを通常の表示位置でそのまま表示した場合には、図５に示すように、キャラクタが隠れてしまい、殆ど又は完全に不可視の状態になることもある。
FIG. 5 shows an example in which characters are displayed overlapping each other. Here, the
そこで実施例１では、画像の表示前に、キャラクタ同士の重なりを予め判定し、手前の仮想オブジェクトの背後にいるキャラクタが見えなくなるような場合には、画面の手前側または奥側のキャラクタの表示態様を調整する。これにより、背後のキャラクタの不可視部分を少なくして、円滑なゲーム進行を実現させる。そのため実施例１では、重畳判定部１０８が、ディスプレイ７に表示するキャラクタ同士が重畳するか否かを判定する。
Therefore, in the first embodiment, before the image is displayed, the overlap between the characters is determined in advance, and when the character behind the virtual object in front is not visible, the character on the near side or the far side of the screen is displayed. Adjust aspects. Thereby, the invisible part of the character behind is reduced, and smooth game progress is realized. Therefore, in the first embodiment, the
ゲーム進行処理部１０２は、キャラクタ決定部１０４により決定された複数のキャラクタの３次元画像データを受け取ると、３次元画像データ、位置情報、方向情報および距離情報をキャラクタごとに対応付けて、重畳判定部１０８に送る。重畳判定部１０８は、これらの情報をもとに複数のゲームカードを空間に配置して、それぞれの中心点に対応するキャラクタを配置する。重畳判定部１０８は、所定のカメラ視点から見た画像において、キャラクタ同士が重畳するか否かを判定する。例えば、カメラ視点から各キャラクタに線分を引いた場合に、線分が途中で他のキャラクタを通過するときには、そのキャラクタの手前に他のキャラクタが存在することが認識され、ディスプレイ７中で不可視部分が生じることが分かる。重畳判定部１０８は、重畳するキャラクタ名をゲーム進行処理部１０２に通知し、ゲーム進行処理部１０２は、キャラクタ同士が重なっていることを示す情報と、そのキャラクタ名を表示制御部１２０に伝える。表示制御部１２０は、重畳判定部１０８によりキャラクタ同士が重畳することが判定された場合に、キャラクタの表示態様を調整することにより、キャラクタ同士が重畳することにより生じるキャラクタの不可視部分を少なくする。
When the game
表示制御部１２０は、ゲームカード画像の表示範囲内でキャラクタの表示位置を調整する。通常の表示状態では、キャラクタがゲームカード４の中心点を基準位置としてバランスを考慮して表示されているが、ゲームカード４内の所望の位置にキャラクタの表示位置を動かすことで、画面奥側に位置するキャラクタの不可視部分を少なくすることができる。なお、キャラクタの最下部は、必ずゲームカード画像上に配置されるようにする。このように、ゲームカード画像の表示範囲内にキャラクタの表示位置を限定することで、ゲームカード４とキャラクタとの関係を維持することができる。
The
図６（ａ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面奥側に存在するキャラクタ２００ｂの表示位置を調整して、キャラクタ２００ｂの不可視部分を少なくする。図示のように、表示制御部１２０がキャラクタ２００ｂの位置を調整することで、キャラクタ２００ｂの可視部分は多くなり、プレイヤは、キャラクタ２００ｂを視認して、ゲームを円滑に進行させることができる。
FIG. 6A shows an example in which the
図６（ｂ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かすとともに、キャラクタ２００ａをゲームカード４ａの右側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面手前側に存在するキャラクタ２００ａの表示位置を調整して、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。図６（ａ）と比較すると、キャラクタ２００ａを右側に動かすことで、キャラクタ２００ｂの可視部分はさらに多くなり、プレイヤは、キャラクタ２００ｂの全表示を視認して、ゲームを一層円滑に進行させることができる。
FIG. 6B shows an example in which the
図７は、画面手前側に存在するキャラクタ２００ａを半透明にした状態を示す。表示制御部１２０は、画面手前側に存在するキャラクタ２００ａの少なくとも一部分を、非表示または半透明の表示態様とすることで、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。これにより、キャラクタの位置を変更することなく、キャラクタ２００ａの全体を視認可能な状態にすることができる。
FIG. 7 shows a state in which the
図８は、キャラクタ同士が重なって表示される別の例を示す。この例では、キャラクタ２００ｂがキャラクタ２００ａに重なっている。これにより、建物の一部分が見えなくなっているが、表示制御部１２０は、キャラクタ２００ａの不可視部分につき、上記した表示制御は実行しない。
FIG. 8 shows another example in which characters are displayed overlapping each other. In this example, the
複数のキャラクタには、表示の優先順位が予め設定されていることが好ましい。優先順位格納部１１０は、キャラクタを表示する優先順位を記憶する。「人」と「高い建物」のキャラクタに対しては、「人」の方が表示の優先順位を高く設定される。この優先順位を参照して、表示制御部１２０は、優先順位の高いキャラクタが優先順位の低いキャラクタの背後に位置した場合に、優先順位の高いキャラクタの不可視部分を少なくするようにキャラクタの表示態様を調整する。一方で、表示制御部１２０は、優先順位の低いキャラクタが優先順位の高いキャラクタの背後に位置した場合には、表示態様の調整を行わない。このような優先順位を設定することで、ゲーム進行上、重要なキャラクタについては、ゲームカード画像の位置にかかわらず、プレイヤが視認できるように表示制御することが可能となる。
It is preferable that display priority is set in advance for the plurality of characters. The
（実施例２）
図９は、ゲーム装置３０の別の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、キャラクタ格納部２０２、優先順位格納部２０４、および表示制御部１２０を備える。
(Example 2)
FIG. 9 shows another configuration of the
実施例２におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、表示制御部１２０としての機能をもつ。解析情報取得部１００およびゲーム進行処理部１０２は、実施例１に関連して説明したものと同様の処理を実行する。
The processing function of the
ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ割当部２０１に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた位置情報、方向情報、距離情報、識別情報を伝える。キャラクタ格納部２０２は、ゲームステージごとに、キャラクタの３次元画像データを記憶する。優先順位格納部２０４は、ゲームステージごとに、キャラクタを表示する優先順位を記憶する。優先順位は、ゲーム進行において重要なキャラクタほど高く設定される。
The game
キャラクタ割当部２０１は、優先順位格納部２０４に記憶された優先順位を読み出し、読み出した優先順位に基づいて、ゲームカード画像とキャラクタとを対応付ける。具体的に、キャラクタ割当部２０１は、優先順位の高いキャラクタが、優先順位の低いキャラクタと重なって不可視部分をもたないように、複数のキャラクタを複数のゲームカード画像に対応付ける。この対応付け処理を行うために、キャラクタ割当部２０１は、複数のゲームカード画像の表示位置に基づいて、ゲームカード画像とキャラクタとを対応付ける。
The
図１０は、２枚のゲームカードが配置された状態を示す。ゲームカード４ａは、ゲームカード４ｂの手前に表示される。そのため、ゲームカード４ｂに配置されるキャラクタは、ゲームカード４ａに配置される別のキャラクタにより不可視部分を形成されるおそれがある。
FIG. 10 shows a state in which two game cards are arranged. The
そこで、キャラクタ割当部２０１は、優先順位の高いキャラクタをゲームカード４ａに対応付け、優先順位の低いキャラクタをゲームカード４ｂに対応付ける。これにより、優先順位の高いキャラクタは、優先順位の低いキャラクタにより隠されない。なお、優先順位の高低は、相対的に定められる。
Therefore, the
キャラクタ割当部２０１は、優先順位の高い順に、キャラクタを画面手前側から配置される実オブジェクト画像から順に対応付けてもよい。すなわち、複数のキャラクタを、優先順位の高い順に画面手前から奥に向かって配置する。キャラクタは、相対的に奥側の位置するキャラクタによって不可視部分を形成されることはない。このような対応付けを行うことで、キャラクタの配置時には、優先順位の高いキャラクタが、優先順位の低いキャラクタにより隠されない状況を作り出すことができる。
The
図１１は、図１０の２枚のゲームカードに対して、ゲームカード４ａにキャラクタ「人」を、ゲームカード４ｂに「高い建物」をそれぞれ対応付けた状態を示す。優先順位格納部２０４において、「人」と「高い建物」の優先順位は、「人」の方が高く設定されている。「人」を手前のゲームカード４ａに関連付けて表示することで、ゲーム中で重要な役割を担う「人」を、「高い建物」に隠されることなく、ディスプレイ７に表示することができる。
FIG. 11 shows a state in which the character “person” is associated with the
キャラクタ割当部２０１は、キャラクタとゲームカード画像とを対応付けた後は、その対応関係を維持することが好ましい。キャラクタの割当を頻繁に実行すると、操作中のキャラクタが入れ替わることになるため、一度決定した対応付けは、原則としてそのゲームステージ中は維持する。なお、優先度の高いキャラクタが所定時間不可視の状態におかれるような特段の事情があるときは、キャラクタとゲームカード画像との対応付け処理を再実行するようにしてもよい。この対応付け処理を例外的に実行させることで、プレイヤが、重要なキャラクタをどうしても見つけることができない事態を解決することができる。
The
なお、優先順位に基づいてキャラクタをゲームカード画像に割り当てることで、以下のメリットもある。例えば、ゲームステージにおいて、５つのキャラクタが用意されている場合に、本来であれば５枚のゲームカード４が撮像領域５に存在している必要があるが、１枚を紛失して４枚しかない状況も起こりうる。キャラクタとゲームカードとの対応が予め定められている場合、紛失したゲームカード４が重要なキャラクタに割り当てられていない場合は問題ないが、重要なキャラクタに割り当てられている場合には、ゲームの進行そのものが停止することになる。
In addition, there are the following merits by assigning characters to game card images based on priority. For example, when five characters are prepared on the game stage, five
優先順位に基づいてキャラクタをゲームカード画像に動的に割り当てると、１番から４番までの優先順位のキャラクタがゲームカード画像に割り当てられ、優先順位の最も低いキャラクタがゲームカード画像に割り当てられないことになる。そのため、優先順位の最も低いキャラクタによる演出はなくなるものの、ゲームのメインストーリの進行を継続できることになるため、ゲームアプリケーションとして大きなメリットがある。特に、ゲームカード４は紛失しやすいことが想定されるため、キャラクタをゲームカード画像に動的に割り当てることは、紛失時の対応として非常に有効である。
When a character is dynamically assigned to a game card image based on the priority order, the first to fourth priority characters are assigned to the game card image, and the lowest priority character is not assigned to the game card image. It will be. Therefore, although the effect by the character with the lowest priority is eliminated, the progress of the main story of the game can be continued, which has a great merit as a game application. In particular, since it is assumed that the
なお、キャラクタ割当部２０１は、フレーム画像に含まれるゲームカード画像の数が少なくなったとき、優先順位に基づいて、ゲームカード画像の識別情報とキャラクタとの対応付け処理を再実行してもよい。ゲーム中にゲームカード４が紛失したり、また識別部１２の読み取りができなくなったような場合に、再度キャラクタとゲームカード画像とを対応付けることで、ゲーム進行を円滑に進めることが可能となる。
Note that, when the number of game card images included in the frame image decreases, the
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are also within the scope of the present invention. .
例えば、キャラクタ割当部２０１は、優先順位の高いキャラクタを、画面中心に位置するゲームカード４に対応付けてもよい。ゲームの進行上、画面中心にメインキャラクタを位置させることが都合のよい場合に、キャラクタ割当部２０１が、画面中心を基準としたキャラクタの割当てを行うことが好ましい。このとき、実施例２におけるゲーム装置３０は、実施例１における重畳判定部１０８を備えてもよい。重畳判定部１０８が、予めキャラクタ同士が重なり合わないことを判定した上で、キャラクタ割当部２０１が、優先順位の高いキャラクタを画面中心に位置するゲームカード４に対応付けてもよい。また、キャラクタ割当部２０１は、視点からの距離に応じてキャラクタをゲームカード４に割り当ててもよい。また、例えば２枚のゲームカード４が近接する場合に、ゲーム進行に重大な影響を及ぼす２つのキャラクタを、その２枚のゲームカード４に割り当て、ステージの開始とともに、それらのキャラクタ間で所定の共同動作を発生させるようにしてもよい。
For example, the
１・・・ゲームシステム、２・・・撮像装置、４・・・ゲームカード、５・・・撮像領域、７・・・ディスプレイ、１０・・・画像処理装置、２０・・・画像解析装置、３０・・・ゲーム装置、４０・・・フレーム画像取得部、４２・・・実オブジェクト抽出部、４４・・・状態決定部、４６・・・識別情報取得部、４８・・・識別情報格納部、５０・・・送出部、５２・・・位置決定部、５４・・・方向決定部、５６・・・距離決定部、１００・・・解析情報取得部、１０２・・・ゲーム進行処理部、１０４・・・キャラクタ決定部、１０６・・・キャラクタ格納部、１０８・・・重畳判定部、１１０・・・優先順位格納部、１２０・・・表示制御部、２０１・・・キャラクタ割当部、２０２・・・キャラクタ格納部、２０４・・・優先順位格納部。
DESCRIPTION OF
Claims (18)
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくすることを特徴とする画像処理装置。 A storage unit that stores identification information for identifying a real object and three-dimensional image data of the virtual object in association with each other;
A readout unit that reads out three-dimensional image data of a plurality of virtual objects associated with identification information of a plurality of real object images included in a frame image captured by the imaging device from a storage unit;
A display control unit that causes the display device to display the virtual object in association with the display position of the real object image using the read three-dimensional image data;
A superimposition determination unit that determines whether or not virtual objects to be displayed on the display device are superimposed,
When the superimposition determination unit determines that the virtual objects are to be superimposed, the display control unit adjusts the display mode of the virtual objects to reduce the invisible portion of the virtual object that is generated by the virtual objects being superimposed. An image processing apparatus.
仮想オブジェクトの３次元画像データを記憶する第１格納部と、
仮想オブジェクトを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、
３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とする画像処理装置。 An identification information acquisition unit that acquires identification information of a plurality of real object images included in the frame image captured by the imaging device;
A first storage for storing three-dimensional image data of the virtual object;
A second storage unit for storing a priority order for displaying the virtual object;
A virtual object allocation unit that associates a real object image with a virtual object based on the priority order stored in the second storage unit;
A display control unit that displays a plurality of virtual objects on the display device in association with the display position of the real object image associated by the virtual object allocation unit using the three-dimensional image data;
An image processing apparatus comprising:
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくすることを特徴とするゲーム装置。 A storage unit that stores identification information for identifying a real object and three-dimensional image data of the game character in association with each other;
A reading unit that reads out three-dimensional image data of a plurality of game characters associated with identification information of a plurality of real object images included in the frame image captured by the imaging device from the storage unit;
A display control unit that causes the display device to display the game character in association with the display position of the real object image using the read three-dimensional image data;
A superimposition determination unit that determines whether or not the game characters displayed on the display device are superimposed,
When the superimposition determining unit determines that the game characters are to be superimposed, the display control unit adjusts the display mode of the game characters to reduce the invisible portion of the game character that is generated by the superimposition of the game characters. A game device characterized by:
ゲームキャラクタの３次元画像データを記憶する第１格納部と、
ゲームキャラクタを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、
３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とするゲーム装置。 An identification information acquisition unit that acquires identification information of a plurality of real object images included in the frame image captured by the imaging device;
A first storage for storing three-dimensional image data of the game character;
A second storage unit for storing priority orders for displaying game characters;
A game character assigning unit that associates a real object image with a game character based on the priority order stored in the second storage unit;
A display control unit for displaying a plurality of game characters on the display device in association with the display position of the real object image associated by the game character allocation unit using the three-dimensional image data;
A game apparatus comprising:
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップと、
を備えることを特徴とする画像処理方法。 Corresponding to identification information of a plurality of real object images included in a frame image captured by an imaging device from a storage unit that stores identification information for identifying a real object and three-dimensional image data of a virtual object in association with each other Reading three-dimensional image data of a plurality of attached virtual objects;
Determining whether or not the virtual objects to be displayed on the display device overlap;
When it is determined that the virtual objects overlap, the step of reducing the invisible part of the virtual object generated by overlapping the virtual objects by adjusting the display mode of the virtual objects;
An image processing method comprising:
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、
読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップと、
を備えることを特徴とする画像処理方法。 Obtaining identification information of a plurality of real object images included in a frame image captured by an imaging device;
Reading the priority from the storage unit storing the priority for displaying the virtual object;
Associating a real object image with a virtual object based on the read priority;
Using the three-dimensional image data of the plurality of virtual objects to display the plurality of virtual objects on the display device in association with the display positions of the associated real object images;
An image processing method comprising:
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能と、
を実現させるためのプログラム。 On the computer,
Corresponding to identification information of a plurality of real object images included in a frame image captured by an imaging device from a storage unit that stores identification information for identifying a real object and three-dimensional image data of a virtual object in association with each other A function of reading out three-dimensional image data of a plurality of attached virtual objects;
A function for determining whether or not virtual objects to be displayed on a display device are superimposed,
When it is determined that the virtual objects overlap each other, the function of reducing the invisible portion of the virtual object generated by overlapping the virtual objects by adjusting the display mode of the virtual objects;
A program to realize
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、
読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、
を実現させるためのプログラム。 On the computer,
A function of acquiring identification information of a plurality of real object images included in a frame image captured by an imaging device;
A function of reading the priority from the storage unit for storing the priority for displaying the virtual object;
A function of associating a real object image with a virtual object based on the read priority;
A function of displaying a plurality of virtual objects on the display device in association with the display positions of the associated real object images using the three-dimensional image data of the plurality of virtual objects;
A program to realize
The computer-readable recording medium which recorded the program of Claim 16 or 17.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004254888A JP4133976B2 (en) | 2004-09-01 | 2004-09-01 | Image processing apparatus, game apparatus, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004254888A JP4133976B2 (en) | 2004-09-01 | 2004-09-01 | Image processing apparatus, game apparatus, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006072669A true JP2006072669A (en) | 2006-03-16 |
| JP4133976B2 JP4133976B2 (en) | 2008-08-13 |
Family
ID=36153239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004254888A Expired - Fee Related JP4133976B2 (en) | 2004-09-01 | 2004-09-01 | Image processing apparatus, game apparatus, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4133976B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008242596A (en) * | 2007-03-26 | 2008-10-09 | Denso It Laboratory Inc | Three-dimensional display apparatus |
| CN100578426C (en) * | 2006-06-28 | 2010-01-06 | 佳能株式会社 | Equipment and method for managing information |
| JP2011145850A (en) * | 2010-01-14 | 2011-07-28 | Yahoo Japan Corp | Label display device, label display method and program for the same |
| JP2012068977A (en) * | 2010-09-24 | 2012-04-05 | Nintendo Co Ltd | Game processing program, device, system and method |
| JP2015165936A (en) * | 2015-05-27 | 2015-09-24 | 株式会社三洋物産 | Game machine |
| JP2015191531A (en) * | 2014-03-28 | 2015-11-02 | 株式会社トッパンＴｄｋレーベル | Determination method of spatial position of two-dimensional code, and device therefor |
| US9495800B2 (en) | 2010-06-10 | 2016-11-15 | Nintendo Co., Ltd. | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method |
| JP2018005477A (en) * | 2016-06-30 | 2018-01-11 | 富士通株式会社 | Display control program, display control method and display control device |
| JP2018163292A (en) * | 2017-03-27 | 2018-10-18 | Kddi株式会社 | System, terminal device, and program |
| JP2019101330A (en) * | 2017-12-06 | 2019-06-24 | 株式会社スクウェア・エニックス | Display system and display method |
| JP2019153348A (en) * | 2019-06-07 | 2019-09-12 | Kddi株式会社 | System including terminal device for displaying virtual object and server device and server device |
| JP2019174811A (en) * | 2019-04-23 | 2019-10-10 | 株式会社スクウェア・エニックス | Display system and display method |
| CN112034986A (en) * | 2020-08-31 | 2020-12-04 | 深圳传音控股股份有限公司 | AR-based interaction method, terminal device and readable storage medium |
-
2004
- 2004-09-01 JP JP2004254888A patent/JP4133976B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100578426C (en) * | 2006-06-28 | 2010-01-06 | 佳能株式会社 | Equipment and method for managing information |
| JP2008242596A (en) * | 2007-03-26 | 2008-10-09 | Denso It Laboratory Inc | Three-dimensional display apparatus |
| JP2011145850A (en) * | 2010-01-14 | 2011-07-28 | Yahoo Japan Corp | Label display device, label display method and program for the same |
| US9495800B2 (en) | 2010-06-10 | 2016-11-15 | Nintendo Co., Ltd. | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method |
| JP2012068977A (en) * | 2010-09-24 | 2012-04-05 | Nintendo Co Ltd | Game processing program, device, system and method |
| US9095774B2 (en) | 2010-09-24 | 2015-08-04 | Nintendo Co., Ltd. | Computer-readable storage medium having program stored therein, apparatus, system, and method, for performing game processing |
| JP2015191531A (en) * | 2014-03-28 | 2015-11-02 | 株式会社トッパンＴｄｋレーベル | Determination method of spatial position of two-dimensional code, and device therefor |
| JP2015165936A (en) * | 2015-05-27 | 2015-09-24 | 株式会社三洋物産 | Game machine |
| JP2018005477A (en) * | 2016-06-30 | 2018-01-11 | 富士通株式会社 | Display control program, display control method and display control device |
| JP2018163292A (en) * | 2017-03-27 | 2018-10-18 | Kddi株式会社 | System, terminal device, and program |
| JP2019101330A (en) * | 2017-12-06 | 2019-06-24 | 株式会社スクウェア・エニックス | Display system and display method |
| JP2019174811A (en) * | 2019-04-23 | 2019-10-10 | 株式会社スクウェア・エニックス | Display system and display method |
| JP2019153348A (en) * | 2019-06-07 | 2019-09-12 | Kddi株式会社 | System including terminal device for displaying virtual object and server device and server device |
| CN112034986A (en) * | 2020-08-31 | 2020-12-04 | 深圳传音控股股份有限公司 | AR-based interaction method, terminal device and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4133976B2 (en) | 2008-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102049245B1 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| US10661157B2 (en) | Method and system incorporating real environment for virtuality and reality combined interaction | |
| JP3844482B2 (en) | Image processing device | |
| CN107251101B (en) | Scene modification for augmented reality using markers with parameters | |
| US9911231B2 (en) | Method and computing device for providing augmented reality | |
| JP4133976B2 (en) | Image processing apparatus, game apparatus, and image processing method | |
| US9767612B2 (en) | Method, system and apparatus for removing a marker projected in a scene | |
| US8866848B2 (en) | Image processing device, control method for an image processing device, program, and information storage medium | |
| CN106664465B (en) | System for creating and reproducing augmented reality content and method using the same | |
| US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
| KR101248736B1 (en) | Augmented reality book station based augmented reality system and method, augmented reality processing apparatus for realizing the same | |
| EP2866088B1 (en) | Information processing apparatus and method | |
| JP2009064109A (en) | Image projector and its control method | |
| US10853966B2 (en) | Virtual space moving apparatus and method | |
| EP2051208A2 (en) | Generating an asset for interactive entertainment using digital image capture | |
| KR20090001667A (en) | Apparatus and method for embodying contents using augmented reality | |
| CN109448050B (en) | Method for determining position of target point and terminal | |
| JP2009295031A (en) | Image projection device and its control method | |
| JP5812550B1 (en) | Image display device, image display method, and program | |
| KR102382247B1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2019075660A (en) | Image processing device, image processing method, and computer program | |
| KR102561274B1 (en) | Display apparatus and controlling method thereof | |
| KR20160079667A (en) | Image processing device, image processing method, image playback device, image playback method, and program | |
| JP2016009266A (en) | Imaging system, imaging method, and computer program | |
| CN112905014A (en) | Interaction method and device in AR scene, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4133976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |