JP5446003B2 - Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program - Google Patents
Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program Download PDFInfo
- Publication number
- JP5446003B2 JP5446003B2 JP2009211891A JP2009211891A JP5446003B2 JP 5446003 B2 JP5446003 B2 JP 5446003B2 JP 2009211891 A JP2009211891 A JP 2009211891A JP 2009211891 A JP2009211891 A JP 2009211891A JP 5446003 B2 JP5446003 B2 JP 5446003B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- shadow
- brightness parameter
- brightness
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本発明は、仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムに関する。 The present invention relates to a virtual object shadow creation device, a composite image creation device, a virtual object shadow creation method, and a program.
従来、この種の仮想物体影作成装置としては、1台のカメラにより計測された実世界の光源環境を用いて仮想物体の影を作成するものが提案されている(例えば、非特許文献1参照)。この装置では、一つの光源環境を用いて作成した一つの仮想物体の影と一つの仮想物体と現実空間の画像とを合成することにより、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって表現された仮想空間との融合による複合現実感(MR:Mixed Reality)を表現している。 Conventionally, as this type of virtual object shadow creation device, a device that creates a shadow of a virtual object using a real-world light source environment measured by a single camera has been proposed (for example, see Non-Patent Document 1). ). This device combines the shadow of one virtual object created using one light source environment with one virtual object and an image of the real space to represent the real space and computer graphics (CG). It expresses mixed reality (MR) by fusing with the created virtual space.
こうした仮想物体影作成装置では、複合現実感をより適正に表現するために、仮想物体の影の作成において現実空間の光源環境をより適正に反映させることが重要な課題の一つとされている。上述の仮想物体影作成装置では、一つの光源環境を用いて仮想物体の影を作成するため、仮想物体の形状や位置,数によっては、仮想物体の影を作成する際に、現実空間の建造物や樹木,地形などが仮想物体に与える影響を適正に反映することができない場合が生じる。 In such a virtual object shadow creation device, in order to more appropriately express mixed reality, it is considered as one of the important issues to more appropriately reflect the light source environment in the real space in creating the shadow of the virtual object. In the above-described virtual object shadow creation device, a shadow of a virtual object is created using a single light source environment. Therefore, depending on the shape, position, and number of virtual objects, when creating a shadow of a virtual object, the construction of a real space is performed. There are cases where the influence of objects, trees, terrain, etc. on virtual objects cannot be properly reflected.
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、仮想物体の影をより適正に作成することを主目的とする。 The main object of the virtual object shadow creation device, the composite image creation device, the virtual object shadow creation method, and the program of the present invention is to more appropriately create a shadow of a virtual object.
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、上述の主目的を達成するために以下の手段を採った。 The virtual object shadow creation device, the composite image creation device, the virtual object shadow creation method, and the program according to the present invention employ the following means in order to achieve the main object described above.
本発明の仮想物体影作成装置は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備えることを要旨とする。
The virtual object shadow creation device of the present invention is
A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
Brightness parameter setting means for setting the brightness parameter at a plurality of positions in the real space;
When creating a shadow of an arbitrary virtual object of the at least one virtual object, the virtual object is scheduled to be placed in a real space among a plurality of parameter setting positions where the brightness parameter is set A shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the position;
It is a summary to provide.
この本発明の仮想物体影作成装置では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 In the virtual object shadow creation device of the present invention, a brightness parameter, which is a parameter reflecting the intensity and direction of light in real space at a plurality of positions, is set, and the shadow of an arbitrary virtual object among at least one virtual object is set. Is created, the brightness parameter at at least one position within a predetermined range from the planned placement position of an arbitrary virtual object in the real space among a plurality of parameter setting positions where the brightness parameter is set. Use to create a shadow of any virtual object. That is, when creating a shadow of a virtual object, a shadow of an arbitrary virtual object is created using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space. is there. As a result, even when the light source environment (brightness environment) may differ depending on the position in the real space, the shadow of the virtual object is created using the brightness parameter that more appropriately reflects the light source environment in the real space. Therefore, the shadow of the virtual object can be created more appropriately. Here, “within a predetermined range from the planned placement position of the virtual object in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the virtual object in the real space. It can also be.
こうした本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、ものとすることもできる。この態様の本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータを設定することができる。この場合、前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータをより適正に設定することができる。この場合、前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、ものとすることもできる。
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、ものとすることもできる。 Further, in the virtual object shadow creation device according to the present invention, the brightness parameter setting means sets the brightness parameter at a plurality of positions including planned placement positions in all real spaces of the at least one virtual object. It can also be.
さらに、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、現実空間の光源環境をより適正に反映して仮想物体の影を作成することができる。ここで、「部分の現実空間での配置予定位置から所定範囲内」は、その部分の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 Furthermore, in the virtual object shadow creation device of the present invention, when creating the shadow of the arbitrary virtual object, the shadow creation means, for each of a plurality of portions each corresponding to a part of the arbitrary virtual object, Means for creating an overall shadow of the arbitrary virtual object by creating a shadow of the part using the brightness parameter at one position within a predetermined range from a planned placement position of the part in the real space; There can be. In this way, the shadow of the virtual object can be created by more appropriately reflecting the light source environment in the real space. Here, “within a predetermined range from the planned placement position of the part in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the part in the real space. You can also.
あるいは、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、前者の場合には簡易に仮想物体の影を作成することができ、後者の場合には現実空間の光源環境をより適正に反映して仮想物体全体の影を作成することができる。 Alternatively, in the virtual object shadow creation device of the present invention, when the shadow creation means creates the shadow of the arbitrary virtual object, it is assumed that the light source environment for each part of the arbitrary virtual object is not constant. When it is not a partial influence assumption state, an entire shadow of the arbitrary virtual object is created using the brightness parameter at one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space, In the case of a partial influence assumption state, the brightness parameter at one position within a predetermined range from the planned placement position of the part in the real space for each of a plurality of parts each corresponding to a part of the arbitrary virtual object It is also possible to create a shadow of the entire virtual object by creating a shadow of the part by using the part. In this way, the shadow of the virtual object can be easily created in the former case, and the shadow of the entire virtual object can be created more appropriately reflecting the light source environment in the real space in the latter case. .
加えて、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、ものとすることもできる。 In addition, in the virtual object shadow creation device according to the present invention, when creating the shadow of the arbitrary virtual object, the shadow creation means has a plurality of basic shadow images and basic diffusion images predetermined for the arbitrary virtual object. And a means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space, and You can also
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、ものとすることもできる。こうすれば、明るさパラメータ設定手段が処理中であるか否かに拘わらず即ち明るさパラメータ設定手段とは独立して影作成手段の数を1以上の範囲で増減することができる。 Further, in the virtual object shadow creation device of the present invention, the brightness parameter setting means is means for outputting brightness parameters at the plurality of set parameter setting positions to a network, and the shadow creation means is from the network. It may be a means for obtaining the brightness parameter at the plurality of parameter setting positions. In this way, the number of shadow creating means can be increased or decreased within a range of 1 or more independently of whether the brightness parameter setting means is processing, that is, independently of the brightness parameter setting means.
本発明の第1の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、を備えることを要旨とする。 The first composite image creation device of the present invention is the virtual object shadow creation device of the present invention according to any one of the above-described aspects, that is, basically brightness that is a parameter reflecting the intensity and direction of light in real space. A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter, the brightness parameter setting means for setting the brightness parameter at a plurality of positions in real space; , When creating a shadow of an arbitrary virtual object among the at least one virtual object, an arrangement of the arbitrary virtual object in a real space among a plurality of parameter setting positions where the brightness parameter is set A virtual object comprising: shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position And shadow creation device, and summarized in that comprises a virtual composite image creating means, a to create a virtual composite image of the shadow was synthesized in which the at least one virtual object is created the at least one virtual object.
この本発明の第1の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて仮想合成画像を作成することにより、仮想合成画像をより適正に作成することができる。 Since the first composite image creation device of the present invention includes the virtual object shadow creation device of the present invention according to any one of the above-described aspects, the effect of the virtual object shadow creation device described above, for example, the shadow of the virtual object can be obtained. The effect etc. which can be produced more appropriately can be produced. Then, by creating a virtual composite image using a more appropriate shadow of the virtual object, the virtual composite image can be created more appropriately.
本発明の第2の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、現実空間の画像である現実画像を取得する現実画像取得手段と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、を備えることを要旨とする。 The second composite image creation apparatus of the present invention is the virtual object shadow creation apparatus of the present invention according to any one of the above-described aspects, that is, basically brightness that is a parameter reflecting the intensity and direction of light in real space. A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter, the brightness parameter setting means for setting the brightness parameter at a plurality of positions in real space; , When creating a shadow of an arbitrary virtual object among the at least one virtual object, an arrangement of the arbitrary virtual object in a real space among a plurality of parameter setting positions where the brightness parameter is set A virtual object comprising: shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position A shadow creation device, a real image acquisition means for acquiring a real image that is an image of a real space, and the at least one virtual object, the shadow of the generated at least one virtual object, and the acquired real image are combined. And a real virtual composite image creating means for creating the real virtual composite image.
この本発明の第2の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて現実仮想合成画像を作成することにより、現実仮想合成画像をより適正に作成することができる。 Since the second composite image creation apparatus of the present invention includes the virtual object shadow creation apparatus of the present invention according to any one of the above-described aspects, the effect of the virtual object shadow creation apparatus described above, for example, the shadow of the virtual object can be obtained. The effect etc. which can be produced more appropriately can be produced. Then, by creating a real virtual composite image using a shadow of a more appropriate virtual object, the real virtual composite image can be created more appropriately.
本発明の仮想物体影作成方法は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
(a)現実空間の複数の位置における前記明るさパラメータを設定し、
(b)前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする。
The virtual object shadow creation method of the present invention includes:
A virtual object shadow creation method for creating a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
(A) setting the brightness parameter at a plurality of positions in the real space;
(B) When creating a shadow of an arbitrary virtual object among the at least one virtual object, in a real space of the arbitrary virtual object among a plurality of parameter setting positions where the brightness parameter is set Creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position of
It is characterized by that.
この本発明の仮想物体影作成方法では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 In this virtual object shadow creation method of the present invention, a brightness parameter which is a parameter reflecting the intensity and direction of light in real space at a plurality of positions is set, and the shadow of an arbitrary virtual object among at least one virtual object is set. Is created, the brightness parameter at at least one position within a predetermined range from the planned placement position of an arbitrary virtual object in the real space among a plurality of parameter setting positions where the brightness parameter is set. Use to create a shadow of any virtual object. That is, when creating a shadow of a virtual object, a shadow of an arbitrary virtual object is created using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space. is there. As a result, even when the light source environment (brightness environment) may differ depending on the position in the real space, the shadow of the virtual object is created using the brightness parameter that more appropriately reflects the light source environment in the real space. Therefore, the shadow of the virtual object can be created more appropriately. Here, “within a predetermined range from the planned placement position of the virtual object in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the virtual object in the real space. It can also be.
本発明のプログラムは、上述のいずれかの態様の本発明の仮想物体影作成方法のステップを1以上のコンピューターに実現させるためのものである。このプログラムは、コンピューターが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピューターから別のコンピューターに配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピューターに実行させるか又は複数のコンピューターにステップを分担して実行させれば、上述の本発明の仮想物体影作成方法のステップが実行されるため、本発明の仮想物体影作成方法と同様の作用効果が得られる。 The program of the present invention is for causing one or more computers to implement the steps of the virtual object shadow creation method of the present invention of any of the above-described aspects. This program may be recorded on a computer-readable recording medium (for example, hard disk, ROM, FD, CD, DVD, etc.) or from a computer via a transmission medium (communication network such as the Internet or LAN). It may be distributed to another computer, or may be exchanged in any other form. If this program is executed by a single computer, or if the steps are shared and executed by a plurality of computers, the steps of the above-described virtual object shadow generation method of the present invention are executed. The same effect as the method can be obtained.
次に、本発明を実施するための形態を実施例を用いて説明する。 Next, the form for implementing this invention is demonstrated using an Example.
図1〜図3は、本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。図1は、屋外で複合現実感表現システム20を用いる場合の一例を示し、図2は、屋内で複合現実感表現システム20を用いる場合の一例を示す。実施例の複合現実感表現システム20は、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって描かれた仮想空間との融合による複合現実感(MR:Mixed Reality)を表現するためのシステムとして構成されている。この複合現実感表現システム20は、図1〜図3に示すように、現実空間の複数の位置に配置されてそれぞれの配置位置(取得位置)における光の強度を含む情報(光源環境(明るさの環境)を反映する情報、以下、明るさ情報という)を取得する複数の明るさ情報取得装置22と、現実空間の画像である現実画像を撮影する撮影装置52(図3参照)と、ユーザの位置や姿勢を取得する位置姿勢取得装置54(図3参照)と、複数の明るさ情報,現実画像,ユーザの位置や姿勢などを用いて複合現実感(MR)を表現するための演算を行なう(具体的には、仮想的な物体である仮想物体の影を作成したり現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成したりする)複合現実感演算装置30と、複合現実感(MR)を表現する(具体的には、現実仮想合成画像を表示する)表示装置56(図3参照)と、を備える。 1 to 3 are block diagrams showing an outline of the configuration of a mixed reality expression system 20 as an embodiment of the present invention. FIG. 1 shows an example when the mixed reality expression system 20 is used outdoors, and FIG. 2 shows an example when the mixed reality expression system 20 is used indoors. The mixed reality expression system 20 of the embodiment is configured as a system for expressing mixed reality (MR) by fusing a real space and a virtual space drawn by computer graphics (CG). Has been. As shown in FIGS. 1 to 3, the mixed reality expression system 20 is arranged at a plurality of positions in the real space and includes information (light source environment (brightness) including light intensity at each position (acquisition position). A plurality of brightness information acquisition devices 22 for acquiring information reflecting the environment (hereinafter referred to as brightness information), a photographing device 52 (see FIG. 3) for capturing a real image that is an image of a real space, and a user And a position / orientation acquisition device 54 (see FIG. 3) for acquiring the position and orientation of the image, and a calculation for expressing mixed reality (MR) using a plurality of brightness information, a real image, the position and orientation of the user, and the like. (Specifically, creating a shadow of a virtual object that is a virtual object, or creating a real virtual composite image that combines a real image, a virtual object, and its shadow) , Expressing mixed reality (MR) That (specifically, displays a real virtual composite image) and a display device 56 (see FIG. 3), the.
複数の明るさ情報取得装置22は、それぞれ、取得位置における明るさ情報として、現実空間の光源環境(明るさの環境)を地表面よりも天頂側の半球状の面光源としてモデル化したときにその半球状の面光源の全ての領域の光の強度を反映した画像(以下、全方位画像という)を取得する装置として構成されている。半球状の面光源の一例を図4に示し、取得位置における全方位画像の一例を図5に示す。この明るさ情報取得装置22は、実施例では、図6に例示するように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置する、ことにより構成するものとした。 Each of the plurality of brightness information acquisition devices 22 models the light source environment (brightness environment) in the real space as the hemispherical surface light source on the zenith side of the ground surface as the brightness information at the acquisition position. The apparatus is configured as an apparatus that acquires an image (hereinafter referred to as an omnidirectional image) that reflects the intensity of light in all regions of the hemispherical surface light source. An example of a hemispherical surface light source is shown in FIG. 4, and an example of an omnidirectional image at the acquisition position is shown in FIG. In this embodiment, the brightness information acquisition device 22 is configured by arranging a camera 22a equipped with a fisheye lens 22b in the zenith direction as illustrated in FIG.
複合現実感演算装置30は、複数の明るさ情報取得装置22とネットワーク32とに接続され取得位置の各々における光の強度や方向を反映するパラメータ(以下、明るさパラメータという)を設定する取得位置明るさパラメータ設定装置34と、ネットワーク32に接続され取得位置とは異なる位置(以下、補間位置という)における明るさパラメータを設定する補間位置明るさパラメータ設定装置36と、ネットワーク32に接続され仮想物体のデータなどを記憶するデータベースサーバ38と、ネットワーク32に接続され現実仮想合成画像を作成する合成画像作成装置40と、を備える。ここで、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40は、それぞれ図示しないCPUやROM,RAM,ハードディスクなどを備える周知のコンピュータとして構成されている。また、データベースサーバ38には、仮想物体のデータの他に、仮想物体の影の作成に用いる基礎データ(後述の影付け平面や基礎影画像,基礎拡散画像など)なども記憶されている。なお、取得位置明るさパラメータ設定装置34や合成画像作成装置40は、それぞれ、一つであるものとしてもよいし、複数であるものとしてもよい(図1〜図3では複数の場合を図示した)。また、データベースサーバ38に記憶される基礎データは、実施例では、図示しないコンピュータによる後述の準備処理により作成されるものとした。 The mixed reality calculation device 30 is connected to the plurality of brightness information acquisition devices 22 and the network 32, and acquires an acquisition position for setting a parameter (hereinafter referred to as a brightness parameter) reflecting the intensity and direction of light at each of the acquisition positions. A brightness parameter setting device 34, an interpolation position brightness parameter setting device 36 for setting a brightness parameter at a position (hereinafter referred to as an interpolation position) connected to the network 32 and different from the acquisition position, and a virtual object connected to the network 32 A database server 38 for storing the data and a composite image creation device 40 connected to the network 32 for creating a real virtual composite image. Here, the acquisition position / brightness parameter setting device 34, the interpolation position / brightness parameter setting device 36, and the composite image creation device 40 are each configured as a well-known computer including a CPU, ROM, RAM, hard disk, and the like (not shown). In addition to the virtual object data, the database server 38 also stores basic data (such as a shadowing plane, a basic shadow image, and a basic diffusion image, which will be described later) used to create a shadow of the virtual object. Note that the acquisition position / brightness parameter setting device 34 and the composite image creation device 40 may each be one or may be plural (FIGS. 1 to 3 illustrate a plurality of cases. ). Further, in the embodiment, the basic data stored in the database server 38 is created by a preparation process described later by a computer (not shown).
撮影装置52,位置姿勢取得装置54,表示装置56は、実施例では、頭部装着型映像表示装置(HMD: Head Mounted Display)50として一体に形成されるものとした。HMD50の一例を図7に示す。また、位置姿勢取得装置54は、実施例では、磁気センサやGPS(Global Positioning System),ジャイロセンサ,加速度センサなどの一つまたはこれらの組み合わせにより構成されるものとした。 In the embodiment, the imaging device 52, the position / orientation acquisition device 54, and the display device 56 are integrally formed as a head-mounted image display device (HMD: Head Mounted Display) 50. An example of the HMD 50 is shown in FIG. Further, in the embodiment, the position / orientation acquisition device 54 is configured by one or a combination of a magnetic sensor, a GPS (Global Positioning System), a gyro sensor, an acceleration sensor, and the like.
こうして構成された実施例の複合現実感表現システム20では、図8に例示するように、撮影装置52により撮影された現実画像を用いて複合現実感演算装置30により現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成して表示装置56に表示するいわゆるビデオシースルー方式を用いるものとした。 In the mixed reality expression system 20 of the embodiment configured as described above, as illustrated in FIG. 8, the real image, the virtual object, and the shadow of the real image, the virtual object, and the shadow of the real image taken by the photographing device 52 are used. A so-called video see-through method is used in which a virtual virtual composite image is generated and displayed on the display device 56.
また、この複合現実感表現システム20では、複合現実感(MR)を表現するための準備処理として、基礎データを作成してデータベースサーバ38に記憶させる。そして、複合現実感を表現する逐次処理として、明るさ情報取得装置22により明るさ情報としての全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、準備処理,逐次処理の順に説明する。 In the mixed reality expression system 20, basic data is created and stored in the database server 38 as a preparation process for expressing mixed reality (MR). Then, as sequential processing expressing mixed reality, the omnidirectional image as the brightness information is acquired by the brightness information acquisition device 22, and the acquired position brightness parameter setting device 34 and the interpolation position are acquired using the acquired omnidirectional image. Brightness parameters at the acquisition position and interpolation position are set by the brightness parameter setting device 36, and a real virtual composite image is created by the composite image creation device 40 using the set brightness parameter at the acquisition position and interpolation position. 56. Hereinafter, the preparation process and the sequential process will be described in this order.
図9は、準備処理として、図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。この基礎画像作成処理ルーチンでは、まず、仮想物体の影の作成に用いる仮想的な平面上の物体(以下、影付け平面という)Pshadow[j](jは影付け平面の各々に対応する番号で1〜Nj、但しNjは影付け平面の数)を作成する(ステップS100)。ここで、影付け平面Pshadow[j]は、実施例では、仮想物体の幾何モデルから作成するものとした。影付け平面Pshadow[j]を作成する様子の一例を図10に示す。図10の例では、(a)に示す仮想物体の3次元(3D)モデルに対して、(b)仮想物体の3次元モデルを任意の部分に分割し、(c)分割後の各部分から凸包を作成し、(d)作成した凸包から主要な面を抽出する、ことによりNj枚の影付け平面Pshadow[j]を作成している。ここで、凸包とは、2次元空間では点集合の任意の2要素を結ぶ閉線分を内部に含む最小の凸多角形を意味し、3次元空間では任意の3次元形状を囲む最小の凸ポリゴン形状(凸図形)を意味する。このように影付け平面Pshadow[j]を作成することにより、仮想物体の3次元モデルの形状に沿った影付け平面Pshadow[j]を作成することができる。なお、この影付け平面Pshadow[j]の作成処理の一部(例えば、仮想物体の3次元モデルの作成や、作成した3次元モデルの分割)については、手作業によって行なうものとしてもよい。 FIG. 9 is a flowchart showing an example of a basic image creation processing routine executed by a computer (not shown) as the preparation processing. In this basic image creation processing routine, first, an object on a virtual plane used for creating a shadow of a virtual object (hereinafter referred to as a shadow plane) P shadow [j] (j is a number corresponding to each shadow plane. 1 to Nj, where Nj is the number of shaded planes) (step S100). Here, in the embodiment, the shadowing plane Pshadow [j] is created from a geometric model of a virtual object. FIG. 10 shows an example of how the shadowing plane Pshadow [j] is created. In the example of FIG. 10, (b) the three-dimensional model of the virtual object is divided into arbitrary parts with respect to the three-dimensional (3D) model of the virtual object shown in (a). A convex hull is created, and (d) a main surface is extracted from the created convex hull, thereby creating Nj shaded planes P shadow [j]. Here, the convex hull means the smallest convex polygon that contains a closed line segment connecting any two elements of the point set in the two-dimensional space, and the smallest surrounding three-dimensional shape in the three-dimensional space. This means a convex polygon shape (convex figure). By creating the shadow plane Pshado [j] in this way, the shadow plane Pshado [j] along the shape of the three-dimensional model of the virtual object can be created. Note that a part of the process of creating the shadowing plane P shadow [j] (for example, creation of a three-dimensional model of a virtual object or division of the created three-dimensional model) may be performed manually.
続いて、現実の光源環境(明るさの環境)を近似した基礎光源L[i](iは基礎光源の各々に対応する番号で1〜Ni、但しNiは基礎光源の数)を作成する(ステップS110)。基礎光源L[i]は、実施例では、現実空間の光源環境を地表面よりも天頂側の半球状の面光源としてモデル化したときに(図4参照)その半球状の面光源をGeodesic Domeを用いて分割して得られる離散的な複数の光源をそれぞれ設定するものとした。ここで、Geodesic Domeは、正多面体の各面を分割した辺を正多面体に外接する球の表面上に球の中心から投影したものであり、球面をほぼ等しい面積に分割する性質を有するものである(文献A,B参照)。このようにして作成した基礎光源L[i]の一例を図11に示す。実施例では、図示するように、半球状の面光源に内接する正多面体(例えば正20面体)をAlternative法(Class−I)(文献A参照)によって分割数f(例えば2)で分割し、分割した多面体の各辺を半球面に投影することによりGeodesic Domeを作成し、作成したGeodesic Domeの各面を基礎光源L[i]として設定するものとした。なお、Geodesic Domeの面数(基礎光源L[i]の数)nは、正20面体で分割数fが値2の場合、40になる。
文献A:A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
文献B:K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
Subsequently, a basic light source L [i] (i is a number corresponding to each of the basic light sources, 1 to Ni, where Ni is the number of basic light sources) approximating an actual light source environment (brightness environment) ( Step S110). In the embodiment, the basic light source L [i] is obtained by modeling a light source environment in real space as a hemispherical surface light source on the zenith side of the ground surface (see FIG. 4). A plurality of discrete light sources obtained by dividing using the above are set. Here, the Geodesic Domain is obtained by projecting the side obtained by dividing each face of the regular polyhedron from the center of the sphere onto the surface of the sphere circumscribing the regular polyhedron, and has the property of dividing the spherical surface into substantially equal areas. Yes (see references A and B). An example of the basic light source L [i] created in this way is shown in FIG. In the embodiment, as shown in the figure, a regular polyhedron (for example, a regular icosahedron) inscribed in a hemispherical surface light source is divided by a division number f (for example, 2) by an alternative method (Class-I) (see Document A), Each side of the divided polyhedron is projected onto a hemispherical surface to create a geometric dome, and each surface of the created geometric dome is set as a basic light source L [i]. In addition, the number of surfaces of the Geodesic Domain (the number of basic light sources L [i]) n is 40 when the number of divisions f is 2 with a regular icosahedron.
Reference A: A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
Reference B: K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
次に、作成した基礎光源L[i](iは1〜Ni)と影付け平面Pshadow[j]とを用いて、仮想物体の影の作成に用いる基礎の影画像(以下、基礎影画像という)Ibasis[j,i](jは1〜Nj)および基礎の拡散反射の画像(以下、基礎拡散画像という)Dbasis[j,i]を設定し(ステップS120)、設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]をデータベースサーバ38に記憶させて(ステップS130)、本ルーチンを終了する。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する様子の一例を図12に示す。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]は、実施例では、図示するように、Geodesic Dome内に配置した影付け平面Pshadow[j]上に仮想物体を配置した状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの仮想物体の影画像を基礎影画像Ibasis[j,i]として設定し、影付け平面Pshadow[j]上の仮想物体を除いた状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの画像を基礎拡散画像Dbasis[j,i]として設定するものとした。このようにしてNj×Ni枚の基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する。なお、影付け平面Pshadow[j]のうち法線方向が同じものについては、基礎光源L[i]に対して同じ拡散反射を行なうため、基礎拡散画像を共有するものとしてもよい。また、実施例では、影付け平面Pshadow[j]は、Lambert反射すると仮定した。図10(a)の仮想物体に対して作成した基礎影画像Ibasis[j,i]の一部の一例を図13に示す。 Next, using the created basic light source L [i] (i is 1 to Ni) and the shadowing plane Pshadow [j], a basic shadow image used for creating a shadow of the virtual object (hereinafter referred to as a basic shadow image). ) Ibasis [j, i] (j is 1 to Nj) and a basic diffuse reflection image (hereinafter referred to as a basic diffuse image) Dbasis [j, i] are set (step S120), and the set basic shadow image Ibasis [ j, i] and the basic diffusion image Dbasis [j, i] are stored in the database server 38 (step S130), and this routine ends. An example of how the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] are set is shown in FIG. In the embodiment, the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] are obtained by arranging virtual objects on the shadowing plane P shadow [j] arranged in the Geodesic Domain, as illustrated. In this state, the shadow image of the virtual object when the shadowing plane Pshadow [j] is irradiated from the basic light source L [i] is set as the basic shadow image Ibasis [j, i], and the virtual image on the shadowing plane Pshadow [j] is set. An image when the shadowing plane Pshadow [j] is irradiated from the basic light source L [i] without the object is set as the basic diffusion image Dbasis [j, i]. In this way, Nj × Ni basic shadow images Ibasis [j, i] and basic diffusion images Dbasis [j, i] are set. In addition, about the thing with the same normal direction among shadowing planes Pshadow [j], since the same diffuse reflection is performed with respect to the basic light source L [i], it is good also as what shares a basic diffused image. In the embodiment, it is assumed that the shaded plane P shadow [j] is Lambert reflection. FIG. 13 shows an example of a part of the basic shadow image Ibasis [j, i] created for the virtual object in FIG.
以上、準備処理について説明した。次に、準備処理により設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を用いて行なわれる逐次処理について説明する。逐次処理では、前述したように、複数の明るさ情報取得装置22の各々によりその明るさ情報取得装置22が配置された位置(取得位置)における明るさ情報として複数の取得位置の各々における全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、取得位置明るさパラメータ設定装置34による処理、補間位置明るさパラメータ設定装置36による処理、合成画像作成装置40による処理の順に説明する。なお、実施例では、取得位置k(kは取得位置の各々に対応する番号で1〜Nk、但しNkは取得位置の数即ち明るさ情報取得装置22の数)や補間位置q(qは補間位置の各々に対応する番号でNk+1〜Nq、但し、Nqは取得位置の数と補間位置の数との和)における明るさパラメータとして、基礎光源L[i]の各々に対応する領域iの明るさを反映するパラメータである明るさパラメータS[k,i],S[q,i]を用いるものとした。 The preparation process has been described above. Next, sequential processing performed using the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] set by the preparation process will be described. In the sequential processing, as described above, the omnidirectional information at each of the plurality of acquisition positions as the brightness information at the position (acquisition position) where the brightness information acquisition device 22 is arranged by each of the plurality of brightness information acquisition devices 22. An image is acquired, the acquired position / brightness parameter setting device 36 or the interpolation position / brightness parameter setting device 36 is used to set the brightness parameter at the acquisition position / interpolation position, and the acquired acquisition position / interpolation is set. A real virtual composite image is created by the composite image creation device 40 using the brightness parameter at the position and displayed on the display device 56. Hereinafter, processing by the acquisition position / brightness parameter setting device 34, processing by the interpolation position / brightness parameter setting device 36, and processing by the composite image creation device 40 will be described in this order. In the embodiment, the acquisition position k (k is a number corresponding to each of the acquisition positions, 1 to Nk, where Nk is the number of acquisition positions, that is, the number of brightness information acquisition devices 22) and the interpolation position q (q is an interpolation). The number corresponding to each of the positions, Nk + 1 to Nq, where Nq is the sum of the number of acquisition positions and the number of interpolation positions), and the brightness of the region i corresponding to each of the basic light sources L [i] The brightness parameters S [k, i] and S [q, i], which are parameters reflecting the brightness, are used.
図14は、取得位置明るさパラメータ設定装置34により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。取得位置明るさパラメータ設定処理ルーチンでは、取得位置明るさパラメータ設定装置34は、明るさ情報取得装置22から取得位置kにおける全方位画像G[k](図5参照)を入力し(ステップS200)、入力した取得位置kにおける全方位画像G[k]を用いて取得位置kにおける明るさパラメータS[k,i]を設定し(ステップS210)、設定した取得位置kにおける明るさパラメータS[k,i]をネットワーク32に出力して(ステップS220)、本ルーチンを終了する。取得位置kにおける明るさパラメータS[k,i]を設定する様子の一例を図15に示す。取得位置kにおける明るさパラメータS[k,i]は、実施例では、全方位画像G[k]にGeodesic Domeを投影して全方位画像G[k]を各々の基礎光源L[i]に対応するNi個の三角形領域に分割し、分割した三角形領域i(iは基礎光源L[i]に対応する番号)のそれぞれについて、次式(1)により、各画素p(pは三角形領域i内の各画素に対応する番号で1〜Np、但し、Npは画素数)の画素値(暗いほど小さく明るいほど大きい値)V[k,i,p](例えば、0〜255)の和を各画素pの画素値V[k,i,p]の最大値Vmax[k,i,p](例えば、255)の和で除して0.0〜1.0の範囲内に正規化する、ことにより設定するものとした。このように複数の取得位置kにおける明るさパラメータS[k,i]を設定することにより、現実空間の建造物や樹木,地形などが仮想物体の一部の光源環境(明るさの環境)や複数の仮想物体のそれぞれの位置の光源環境に影響を与えると考えられるときでも、より現実の光源環境を反映して取得位置kにおける明るさパラメータS[k,i]を設定することができる。 FIG. 14 is a flowchart illustrating an example of an acquisition position brightness parameter setting processing routine executed by the acquisition position brightness parameter setting device 34. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the acquisition position brightness parameter setting processing routine, the acquisition position brightness parameter setting device 34 inputs the omnidirectional image G [k] (see FIG. 5) at the acquisition position k from the brightness information acquisition device 22 (step S200). The brightness parameter S [k, i] at the acquisition position k is set using the omnidirectional image G [k] at the input acquisition position k (step S210), and the brightness parameter S [k at the set acquisition position k is set. , I] are output to the network 32 (step S220), and this routine is terminated. An example of setting the brightness parameter S [k, i] at the acquisition position k is shown in FIG. In the embodiment, the brightness parameter S [k, i] at the acquisition position k is projected onto the omnidirectional image G [k] and the omnidirectional image G [k] to each basic light source L [i]. For each of the divided triangular regions i (i is a number corresponding to the basic light source L [i]), each pixel p (p is the triangular region i) is expressed by the following equation (1). 1 to Np, where Np is the number of pixels, and the sum of pixel values V [k, i, p] (for example, 0 to 255). The pixel value V [k, i, p] of each pixel p is normalized within the range of 0.0 to 1.0 by dividing by the sum of the maximum values Vmax [k, i, p] (for example, 255). , To be set by. By setting the brightness parameter S [k, i] at a plurality of acquisition positions k in this way, a building, a tree, a terrain, etc. in the real space are part of the light source environment (brightness environment) of the virtual object, Even when it is considered that the light source environment at each position of the plurality of virtual objects is affected, the brightness parameter S [k, i] at the acquisition position k can be set reflecting the more actual light source environment.
次に、補間位置明るさパラメータ設定装置36による処理について説明する。図16は、補間位置明るさパラメータ設定装置36により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。補間位置明るさパラメータ設定処理ルーチンでは、補間位置明るさパラメータ設定装置36は、取得位置kにおける明るさパラメータS[k,i](kは1〜Nk、iは1〜Ni)をネットワーク32から入力し(ステップS300)、入力した取得位置kにおける明るさパラメータS[k,i]を用いて補間位置q(qはNk+1〜Nq)における明るさパラメータS[q,i]を設定し(ステップS310)、設定した補間位置qにおける明るさパラメータS[q,i]をネットワーク32に出力して(ステップS320)、本ルーチンを終了する。ここで、補間位置qにおける明るさパラメータS[q,i]は、実施例では、Nk個(Nk≧2)の取得位置k(1〜Nk)からNksel個の取得位置(以下、選択取得位置という)ksel(1〜Nksel、但し2≦Nksel≦Nk)を任意に選択し、選択した選択取得位置kselにおける明るさパラメータS[ksel,i]と、選択取得位置kselと補間位置qとの距離a[q,ksel]と、距離t[q,i](t[q,i]≧0)と、を用いて次式(2)により計算するものとした。3つの選択取得位置1〜3における明るさパラメータS[ksel,i](kselは1〜3)を用いて補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を図17および図18に示す。式(2)は、取得位置kと補間位置qとの距離a[q,k]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が取得位置kにおける明るさパラメータS[k,i]から影響を受けると考えられるという理由と(図17参照)、補間位置qが山影や建物の陰,これらの近傍にある場合などに補間位置qから見て基礎光源L[i]に対応する方向の障害物(例えば、建物や樹木,地形など)と補間位置qとの距離t[q,i]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が障害物から影響を受けると考えられるという理由と(図18参照)、から定めたものである。このようにして明るさパラメータS[q,i]が設定される補間位置qの一例を図19に示す。図中、実線丸印は取得位置kを示し、点線三角印は補間位置qを示す。仮想物体とその影とを合成した仮想合成画像を表示するためには、表示する位置における明るさパラメータを設定する必要がある。しかしながら、広い現実空間で複合現実感表現システム20を用いる場合にその現実空間全体に明るさ情報取得装置22を配置することや、仮想物体を移動させる場合に仮想物体の移動に応じて明るさ情報取得装置22を移動させることは困難である。これに対して、実施例では、この補間位置明るさパラメータ設定処理ルーチンを実行することにより、明るさ情報取得装置22の配置位置(取得位置)以外の位置(補間位置)における明るさパラメータS[q,i]を設定することができる。しかも、建物や樹木,地形などの障害物による影響を考慮して補間位置qにおける明るさパラメータS[q,i]を設定することにより、より現実の光源環境を反映して補間位置qにおける明るさパラメータS[q,i]を設定することができる。なお、補間位置qは、例えば、仮想物体の位置や大きさ,形状などに基づいて定めるものとしたり、現実空間の地形や建物の構造,配置などに基づいて定めるものとしたり、これらに拘わらず予め定められた補間位置q間の間隔や取得位置kに対する距離などに基づいて定めるものとしたりすることができる。実施例では、仮想物体の配置予定位置が取得位置k以外のときには、補間位置qに、その仮想物体の配置予定位置またはその近傍を含めるものとした。 Next, processing by the interpolation position / brightness parameter setting device 36 will be described. FIG. 16 is a flowchart showing an example of an interpolation position / brightness parameter setting processing routine executed by the interpolation position / brightness parameter setting device 36. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the interpolation position / brightness parameter setting processing routine, the interpolation position / brightness parameter setting device 36 sends the brightness parameter S [k, i] (k is 1 to Nk, i is 1 to Ni) from the network 32 at the acquisition position k. Then, the brightness parameter S [q, i] at the interpolation position q (q is Nk + 1 to Nq) is set using the brightness parameter S [k, i] at the acquired acquisition position k (step S300) (step S300). (S310), the brightness parameter S [q, i] at the set interpolation position q is output to the network 32 (step S320), and this routine is terminated. Here, in the embodiment, the brightness parameter S [q, i] at the interpolation position q is determined from Nk (Nk ≧ 2) acquisition positions k (1 to Nk) to Nksel acquisition positions (hereinafter, selected acquisition positions). Ksel (1 to Nksel, where 2 ≦ Nksel ≦ Nk) is arbitrarily selected, and the brightness parameter S [ksel, i] at the selected selection acquisition position ksel and the distance between the selection acquisition position ksel and the interpolation position q It is assumed that calculation is performed by the following equation (2) using a [q, ksel] and the distance t [q, i] (t [q, i] ≧ 0). The concept of the method of setting the brightness parameter S [q, i] at the interpolation position q using the brightness parameter S [ksel, i] (ksel is 1 to 3) at the three selection acquisition positions 1 to 3 is shown in FIG. And shown in FIG. Equation (2) shows that the brightness parameter S [q, i] at the interpolation position q is in the inverse proportion to the distance a [q, k] between the acquisition position k and the interpolation position q. k, i] (see FIG. 17) and the basic light source L [i] when viewed from the interpolation position q when the interpolation position q is in the shadow of a mountain, the shadow of a building, or the vicinity thereof. The brightness parameter S [q, i] at the interpolation position q has a tendency to be inversely proportional to the distance t [q, i] between the obstacle (for example, a building, a tree, a terrain, etc.) in the direction corresponding to This is determined from the reason that it is considered to be influenced by an object (see FIG. 18). An example of the interpolation position q where the brightness parameter S [q, i] is set in this way is shown in FIG. In the figure, a solid line circle mark indicates the acquisition position k, and a dotted line triangle mark indicates the interpolation position q. In order to display a virtual composite image in which a virtual object and its shadow are combined, it is necessary to set a brightness parameter at the display position. However, when the mixed reality expression system 20 is used in a wide real space, the brightness information acquisition device 22 is arranged in the entire real space, or when the virtual object is moved, the brightness information according to the movement of the virtual object. It is difficult to move the acquisition device 22. On the other hand, in this embodiment, by executing this interpolation position brightness parameter setting processing routine, the brightness parameter S [[interpolation position] other than the arrangement position (acquisition position) of the brightness information acquisition device 22 is obtained. q, i] can be set. In addition, by setting the brightness parameter S [q, i] at the interpolation position q in consideration of the influence of obstacles such as buildings, trees, and terrain, the brightness at the interpolation position q reflects the actual light source environment. Parameter S [q, i] can be set. Note that the interpolation position q is determined based on, for example, the position, size, and shape of the virtual object, or determined based on the topography of the real space, the structure of the building, the arrangement, and the like. It may be determined based on a predetermined interval between the interpolation positions q, a distance to the acquisition position k, or the like. In the embodiment, when the planned placement position of the virtual object is other than the acquisition position k, the interpolation position q includes the planned placement position of the virtual object or its vicinity.
次に、合成画像作成装置40による処理について説明する。図20は、現実仮想合成画像作成ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。現実仮想合成画像作成ルーチンでは、合成画像作成装置40は、まず、ネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を入力すると共にデータベースサーバ38からネットワーク32を介して影付け平面Pshadow[j]や基礎影画像Ibasis[j,i](jは1〜Nj、iは1〜Ni),基礎拡散画像Dbasis[j,i]を入力する(ステップS400)。 Next, processing by the composite image creation device 40 will be described. FIG. 20 is a flowchart illustrating an example of a real virtual composite image creation routine. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the real virtual composite image creation routine, the composite image creation apparatus 40 first inputs the brightness parameters S [k, i] and S [q, i] at the acquisition position k and the interpolation position q from the network 32, and the database server. 38, the shadowing plane P shadow [j], the basic shadow image Ibasis [j, i] (j is 1 to Nj, i is 1 to Ni), and the basic diffusion image Dbasis [j, i] are input via the network 32. (Step S400).
続いて、仮想物体のシェーディング(仮想物体表面の法線,反射特性,光源分布による仮想物体表面の明るさの濃淡を表現する処理)や影の作成に用いる位置を取得位置k(kは1〜Nk)や補間位置q(qはNk+1〜Nq)から選択して処理用位置として設定する(ステップS410)。この処理用位置は、実施例では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を設定するものとした。ここで、取得位置kや補間位置qのうち所定範囲内に複数の位置があるときには、例えば、取得位置kや補間位置qのうち仮想物体の配置予定位置のうちの基準点(例えば、仮想物体の中心)に最も近い位置を処理用位置として設定するものとすることができる。また、所定範囲は、例えば、仮想物体の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。なお、前述の図1や図2に例示したように、仮想物体が複数ある場合には、一つの仮想物体に対して一つの処理用位置を設定すればよい。以下、説明の都合上、取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]のうち処理用位置における明るさパラメータをSs[i]と表わす。 Subsequently, the position used for the shading of the virtual object (processing for expressing the normality of the virtual object surface, reflection characteristics, and brightness of the virtual object surface by the light source distribution) and the creation of the shadow is obtained as an acquisition position k (k is 1 to k). Nk) and interpolation position q (q is Nk + 1 to Nq) and set as a processing position (step S410). In this embodiment, the processing position is set to one position within a predetermined range from the planned placement position of the virtual object among the acquisition position k and the interpolation position q. Here, when there are a plurality of positions within a predetermined range among the acquisition position k and the interpolation position q, for example, a reference point (for example, a virtual object) of the planned placement positions of the virtual object among the acquisition position k and the interpolation position q. It is possible to set the position closest to the center) as the processing position. The predetermined range may be a range that can be assumed that the light source environment (brightness environment) is substantially equal to the planned placement position of the virtual object, for example. As illustrated in FIG. 1 and FIG. 2 described above, when there are a plurality of virtual objects, one processing position may be set for one virtual object. Hereinafter, for convenience of explanation, the brightness parameter at the processing position among the brightness parameters S [k, i] and S [q, i] at the acquisition position k and the interpolation position q is represented as Ss [i].
こうして処理用位置を設定すると、その処理用位置における明るさパラメータSs[i]を用いて、処理用位置における仮想的な光源である仮想光源Lv[n](nは仮想光源の各々に対応する番号で1〜Nn、但しNnは仮想光源の数)の強度LI[n]を設定する(ステップS420)。ここで、処理用位置における仮想光源Lv[n]は、処理用位置におけるGeodesic Dome上の基礎光源L[i]を基礎光源L[i]の数Niより少ない数(例えば、8や16など)に集約したものである。Geodesic Domeに配置される仮想光源Lv[n]の一例を図21に示す。また、仮想光源Lv[n]の強度LI[n]は、処理用位置における明るさパラメータSs[i]を仮想光源Lv[n]に対して反映させることにより設定することができ、実施例では、仮想光源Lv[n]の数Nnが明るさパラメータSs[i]の数Niに比して少ないため、仮想光源Lv[n]近傍の明るさパラメータSs[i]の平均として仮想光源Lv[n]の強度LI[n]を設定するものとした。こうした処理により、現実空間の光源環境(明るさの環境、実施例では、処理用位置における明るさパラメータSs[i])を処理用位置における仮想光源Lv[n]によって近似的に表現することができる。 When the processing position is set in this way, the virtual light source Lv [n] (n corresponds to each of the virtual light sources) that is a virtual light source at the processing position using the brightness parameter Ss [i] at the processing position. Intensities LI [n] of 1 to Nn, where Nn is the number of virtual light sources) are set (step S420). Here, the virtual light source Lv [n] at the processing position is smaller in number (for example, 8 or 16) than the number Ni of the basic light sources L [i] of the basic light sources L [i] on the Geodesic Dome at the processing position. Are summarized in An example of the virtual light source Lv [n] arranged in the Geodesic Domain is shown in FIG. The intensity LI [n] of the virtual light source Lv [n] can be set by reflecting the brightness parameter Ss [i] at the processing position on the virtual light source Lv [n]. Since the number Nn of the virtual light sources Lv [n] is smaller than the number Ni of the brightness parameters Ss [i], the virtual light source Lv [n] is an average of the brightness parameters Ss [i] in the vicinity of the virtual light source Lv [n]. The intensity LI [n] of n] is set. Through such processing, the light source environment in the real space (brightness environment, in the embodiment, the brightness parameter Ss [i] at the processing position) can be approximately expressed by the virtual light source Lv [n] at the processing position. it can.
続いて、設定した処理用位置における仮想光源Lv[n]の強度LI[n]を用いて仮想物体のシェーディングを行なう(ステップS430)。ここで、仮想物体のシェーディングは、例えば、仮想光源Lv[n]を平行光源(無限遠の光源)として、仮想物体を直接照射する直接光や他の物体(現実世界の物体である現実物体および仮想物体)表面から反射する間接光を計算して写実的な陰影を作成する、ことにより行なうことができる。なお、このシェーディングの方法としては、例えば、鏡面反射を表現する「フォンのモデル」や、金属の表現に適した「ブリンのモデル」,「クック・トランスのモデル」,磨いた金属や布を表面する「異方性反射モデル」などが考えられている(引用文献C参照)。
文献C:技術編CG標準テキストブック編集委員会, “技術編CG標準テキストブック”, 財団法人画像情報教育振興協会(CG-ARTS協会), 第一版六刷, March, 2003.
Subsequently, the virtual object is shaded using the intensity LI [n] of the virtual light source Lv [n] at the set processing position (step S430). Here, the shading of the virtual object is performed, for example, by using the virtual light source Lv [n] as a parallel light source (a light source at infinity) and direct light directly irradiating the virtual object or another object (a real object that is an object in the real world and Virtual object) by calculating indirect light reflected from the surface and creating a realistic shadow. Note that this shading method includes, for example, a “phone model” that expresses specular reflection, a “brin model” that is suitable for metal expression, a “cook transformer model”, and a polished metal or cloth surface. An “anisotropic reflection model” is considered (see cited document C).
Reference C: Technical CG Standard Textbook Editorial Committee, “Technical CG Standard Textbook”, Japan Society for the Promotion of Image Information Education (CG-ARTS Association), First Edition, 6th Edition, March, 2003.
次に、処理用位置における明るさパラメータSs[i]と影付け平面Pshadow[j]における基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]とを用いて、影付け平面Pshadow[j]についての線形和の画像(以下、線形和画像という)Isum[j],Dsum[j]を作成する(ステップS440)。ここで、線形和画像Isum[j],Dsum[j]の作成は、実施例では、処理用位置における明るさパラメータSs[i]と基礎影画像Ibasis[j,i]とを用いて次式(3)により影付け平面Pshadow[j]についての線形和画像Isum[j]を演算し、処理用位置における明るさパラメータSs[i]と基礎拡散画像Dbasis[j,i]とを用いて次式(4)により影付け平面Pshadow[j]についての線形和画像Dsum[j]を演算する、ことにより行なうものとした。線形和画像Isum[j],Dsum[j]を演算する様子の一例を図22に示す。 Next, using the brightness parameter Ss [i] at the processing position, the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] in the shadowing plane Pshadow [j], the shadowing plane Linear sum images (hereinafter referred to as linear sum images) Isum [j] and Dsum [j] for Pshadow [j] are created (step S440). Here, in the embodiment, the linear sum images Isum [j] and Dsum [j] are created using the brightness parameter Ss [i] at the processing position and the basic shadow image Ibasis [j, i] according to the following formula. The linear sum image Isum [j] for the shadowing plane Pshadow [j] is calculated by (3), and the brightness parameter Ss [i] at the processing position and the basic diffusion image Dbasis [j, i] are used to calculate The calculation is performed by calculating the linear sum image Dsum [j] for the shadow plane Pshadow [j] according to Expression (4). An example of how the linear sum images Isum [j] and Dsum [j] are calculated is shown in FIG.
こうして影付け平面Pshadow[j]についての線形和画像Isum[j],Dsum[j]を設定すると、設定した線形和画像Isum[j]と線形和画像Dsum[j]とを用いて、影付け平面Pshadow[j]についての仮想物体の影の強度である明るさ比画像Ishadow[j]を作成する(ステップS450)。ここで、現実物体および仮想物体の表面上のある点における放射照度Eとこのある点が影付け平面Pshadow[j]によって影付けされた後の放射照度E’との関係は、次式(5)により表わされることが解っている(文献D参照)。実施例では、このことを考慮して、線形和画像Isum[j]と線形和画像Dsum[j]とを用いて式(6)により明るさ比画像Ishadow[j]を作成するものとした。こうして計算される明るさ比画像Ishadow[j]のうち値1となる画素は本影(仮想物体により完全に遮られた影)となる部分を示し、値0となる画素は全く影の落ちない部分を示す。明るさ比画像Ishadow[j]の一例を図23に示す。
文献D:I. Sato, Y. Sato, and K. Ikeuchi:“Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. on Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
When the linear sum images Isum [j] and Dsum [j] for the shadow plane Pshadow [j] are set in this way, shadowing is performed using the set linear sum image Isum [j] and the linear sum image Dsum [j]. A brightness ratio image Ishadow [j] that is the intensity of the shadow of the virtual object for the plane Pshashadow [j] is created (step S450). Here, the relationship between the irradiance E at a certain point on the surface of the real object and the virtual object and the irradiance E ′ after the certain point is shaded by the shaded plane Pshado [j] is expressed by the following equation (5). ) (See Document D). In the embodiment, in consideration of this, the brightness ratio image Ishadow [j] is created by Expression (6) using the linear sum image Isum [j] and the linear sum image Dsum [j]. In the brightness ratio image Ishadow [j] calculated in this way, a pixel having a value of 1 indicates a portion that becomes a main shadow (a shadow completely blocked by a virtual object), and a pixel having a value of 0 has no shadow at all. Indicates the part. An example of the brightness ratio image Ishadow [j] is shown in FIG.
Reference D: I. Sato, Y. Sato, and K. Ikeuchi: “Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. On Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
続いて、作成した明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングすることにより、現実物体および仮想物体の表面上における影を表現するための影平面F[j]を作成する(ステップS460)。影平面F[j]を作成する様子の一例を図24に示す。影平面F[j]の作成は、例えば、影付け平面Pshadow[j]を反射率が値0の物体として、画像の色情報RGB(赤緑青)と透過度(透明度)の情報(いわゆるアルファ値、透明(値0)〜不透明(値1)を示す情報)とを用いて明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングする、ことにより行なうことができる(文献E参照)。実施例では、この透過度の情報として明るさ比画像Ishadow[j]を用いて影平面F[j]を作成するものとした。これにより、影平面F[j]は、不透明に近い部分では濃くなり、透明に近い部分では薄くなる。
文献E:OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGLプログラミングガイド 第2版”, ピアソン・エデュケーション, July, 2003.
Subsequently, by mapping the created brightness ratio image Ishadow [j] to the corresponding shadowing plane Pshadow [j], a shadowing plane F [j] for expressing a shadow on the surface of the real object and the virtual object Is created (step S460). An example of the creation of the shadow plane F [j] is shown in FIG. The shadow plane F [j] is created by, for example, using the shadow plane P shadow [j] as an object having a reflectance of 0, color information RGB (red green blue) and transparency (transparency) information (so-called alpha value). , Information indicating transparency (value 0) to opacity (value 1)), and mapping the brightness ratio image Ishadow [j] to the corresponding shadowing plane Pshadow [j] (references) E). In the embodiment, the shadow plane F [j] is created by using the brightness ratio image Ishadow [j] as the information on the transparency. As a result, the shadow plane F [j] becomes darker in a portion close to opacity and becomes thinner in a portion close to transparency.
Reference E: OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGL Programming Guide 2nd Edition”, Pearson Education, July, 2003.
次に、撮影装置52から現実画像を入力すると共に位置姿勢取得装置54からユーザの位置や姿勢を入力し(ステップS470)、入力した現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成し(ステップS480)、表示装置56に表示させて(ステップS490)、本ルーチンを終了する。ここで、現実仮想合成画像の作成は、現実画像を背景に設置した状態で、ユーザの位置や姿勢に応じた位置に仮想物体および影平面F[j]とを描画する、ことにより行なうものとした。仮想物体および影平面F[j]の描画は、具体的には、明るさ比画像Ishadow[j]によって透過度(透明度)が定められた影平面F[j]により現実画像を減衰させて現実空間の地面などに落ちる仮想物体の影(キャストシャドウ)を表現すると共に、影平面F[j]を用いて仮想物体自体の影(セルフシャドウ)を表現する、ことにより行なうことができる。このようにして表示装置56に表示される現実仮想合成画像の一例を図25に示す。 Next, a real image is input from the photographing device 52 and a user's position and posture are input from the position / orientation acquisition device 54 (step S470), and the input real image, virtual object, and shadow plane F [j] are synthesized. A real virtual composite image is created (step S480), displayed on the display device 56 (step S490), and this routine ends. Here, the creation of the real virtual composite image is performed by drawing the virtual object and the shadow plane F [j] at a position corresponding to the position and posture of the user with the real image placed in the background. did. The drawing of the virtual object and the shadow plane F [j] is specifically performed by attenuating the real image with the shadow plane F [j] whose transparency (transparency) is determined by the brightness ratio image Ishadow [j]. This can be performed by expressing a shadow (cast shadow) of a virtual object falling on the ground in the space and expressing a shadow (self-shadow) of the virtual object itself using the shadow plane F [j]. An example of the real virtual composite image displayed on the display device 56 in this way is shown in FIG.
以上説明した実施例の複合現実感表現システム20によれば、明るさパラメータS[k,i],S[q,i]を設定した複数の位置(取得位置kおよび補間位置q)のうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置としてその処理用位置における明るさパラメータS[i]を用いて仮想物体の影を作成するから、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。しかも、実施例の複合現実感表現システム20によれば、取得位置kにおける明るさパラメータS[k,i]に加えて、補間位置qにおける明るさパラメータS[q,i]も考慮して仮想物体の影を作成するから、仮想物体の影をより適正に設定することができる。さらに、こうして作成した仮想物体の影と仮想物体と現実画像とを合成して現実仮想合成画像を作成するから、現実仮想合成画像をより適正に作成することができる。 According to the mixed reality expression system 20 of the embodiment described above, a virtual one of a plurality of positions (acquisition position k and interpolation position q) in which brightness parameters S [k, i] and S [q, i] are set. Since the shadow of the virtual object is created using the brightness parameter S [i] at the processing position as one processing position within the predetermined range from the planned placement position of the object, the light source environment in the real space is more appropriate. Since the shadow of the virtual object can be created using the brightness parameter reflected on the virtual object, the shadow of the virtual object can be created more appropriately. In addition, according to the mixed reality expression system 20 of the embodiment, in addition to the brightness parameter S [k, i] at the acquisition position k, the brightness parameter S [q, i] at the interpolation position q is also taken into consideration. Since the shadow of the object is created, the shadow of the virtual object can be set more appropriately. Furthermore, since the virtual virtual object image is created by synthesizing the shadow of the virtual object thus created, the virtual object, and the real image, the real virtual composite image can be created more appropriately.
また、実施例の複合現実感表現システム20によれば、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36が取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]をネットワーク32に出力すると共に合成画像作成装置40がネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を取得して現実仮想合成画像を作成する、即ち、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するから、前述の逐次処理の段階でも、合成画像作成装置40やHMD50(撮影装置52,位置姿勢取得装置54,表示装置56)の増減を行なうことができる。 Further, according to the mixed reality expression system 20 of the embodiment, the acquisition position brightness parameter setting device 34 and the interpolation position brightness parameter setting device 36 have the brightness parameters S [k, i] at the acquisition position k and the interpolation position q. , S [q, i] are output to the network 32, and the composite image creation device 40 acquires brightness parameters S [k, i], S [q, i] at the acquisition position k and the interpolation position q from the network 32. Thus, a virtual virtual composite image is created, that is, brightness parameters S [k, i], S [q, i from the acquired position / brightness parameter setting device 34 or the interpolation position / brightness parameter setting device 36 to the composite image creation device 40. ] Is distributed over the network, so that the composite image creation device 40 and the HMD 50 (the photographing device 52, the position / orientation acquisition device 54, the display device 5) can be used even at the above-described sequential processing stage. An increase or decrease in) can be carried out.
実施例の複合現実感表現システム20では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定する、即ち、一つの仮想物体に対して一つの処理用位置を設定するものとしたが、一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。図26は、仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。図示するように、仮想物体の配置予定位置の周囲に建造物や樹木,山などの障害物(現実物体)が局所的に存在する場合には、仮想物体のうちその障害物に近い部分にだけ障害物の影が落ちることが想定される。このような場合、仮想物体の中心位置に最も近い位置など一つの位置における明るさパラメータだけを用いて仮想物体のシェーディングや影の作成を行なうと、障害物の局所的な影響を適正に反映することができない。したがって、このことを考慮して、建造物や樹木,地形などが仮想物体の一部にだけ影響を与える(仮想物体の各部分についての光源環境が一定でない)と想定される一部影響想定状態であるか否かを判定し、一部影響想定状態でないときには実施例と同様に取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定し、一部影響想定状態であるときには仮想物体を分割して得られる各部分についてそれぞれ取得位置kや補間位置qのうち各部分の配置予定位置を含む部分範囲内の一つの位置を処理用位置として設定するものとしてもよい。ここで、一部影響想定状態であるか否かの判定は、例えば、現実空間の状況(建物や樹木の位置,地形など)や仮想物体の状況(配置予定位置や大きさ,形状)などに基づいて判定することができる。また、部分範囲は、例えば、仮想物体のうち対応する部分の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。このように一部影響想定状態であるか否かに応じて処理用位置を設定することにより、仮想物体のシェーディングや影の作成を行なう際に、前者の場合即ち一部影響想定状態でないときには簡易に処理を行なうことができ、後者の場合即ち一部影響想定状態であるときには局所的な障害物の影響をより適正に反映して処理を行なうことができる。なお、仮想物体が複数あるときには、一部影響想定状態でない仮想物体についてはその仮想物体に対する処理用位置として取得位置kや補間位置qのうちの一つを設定し、一部影響想定状態である仮想物体についてはその仮想物体の各部分に対する処理用位置として取得位置kや補間位置qのうちの一つを設定すればよい。そして、こうして設定した処理用位置を用いて仮想物体のシェーディングや影の作成を行なう場合、一部影響想定状態でないとき(一つの仮想物体に対して一つの処理用位置を設定するとき)には実施例と同様に行ない、一部影響想定状態であるときには、仮想物体の各部分についてのそれぞれの処理用位置における仮想光源Lv[n]の強度LI[n]を用いたシェーディングによって仮想物体全体のシェーディングを行なうと共に仮想物体の各部分についてのそれぞれの処理用位置における明るさパラメータSs[i]を用いた線形和画像の作成によって仮想物体全体に対応する線形和画像Isum[j],Dsum[j]を作成して影平面F[j]を作成するものとしてもよい。この変形例では、任意の一つの仮想物体に対して、一部影響想定状態でないときにはその一つの仮想物体に対して一つの処理用位置を設定し、一部影響想定状態であるときにはその一つの仮想物体に対して複数の処理用位置を設定するものとして説明したが、一部想定状態であるか否かに拘わらず、その一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, one position within a predetermined range from the planned placement position of the virtual object among the acquisition position k and the interpolation position q is set as a processing position, that is, for one virtual object. One processing position is set, but a plurality of processing positions may be set for one virtual object. FIG. 26 is an explanatory diagram illustrating an example of the state of the light source environment at the planned placement position of the virtual object. As shown in the figure, when there are local obstacles (real objects) such as buildings, trees, and mountains around the virtual object placement planned position, only the part of the virtual object close to the obstacle It is assumed that the shadow of the obstacle will fall. In such a case, shading or creating a shadow of a virtual object using only the brightness parameter at one position, such as the position closest to the center position of the virtual object, properly reflects the local influence of the obstacle. I can't. Therefore, in consideration of this, a partial impact assumption state where it is assumed that buildings, trees, terrain, etc. affect only a part of the virtual object (the light source environment for each part of the virtual object is not constant) When the partial influence is not assumed, one position within a predetermined range from the planned placement position of the virtual object is set as the processing position among the acquisition position k and the interpolation position q as in the embodiment. When the partial influence is assumed, for each part obtained by dividing the virtual object, one position within the partial range including the planned placement position of each part of the acquisition position k and the interpolation position q is set as the processing position. It may be set as Here, the determination of whether or not the partial influence is assumed is based on, for example, the situation in the real space (the position of the building or tree, the terrain, etc.) or the situation of the virtual object (the planned placement position, size, shape, etc.). It can be determined based on. In addition, the partial range can be assumed to be a range in which the light source environment (brightness environment) can be assumed to be substantially equal to the planned arrangement position of the corresponding portion of the virtual object, for example. Thus, by setting the processing position according to whether or not the partial influence is assumed, it is easy to perform shading or shadow creation of the virtual object in the former case, that is, when the partial influence is not assumed. In the latter case, that is, in the case where a partial influence is assumed, it is possible to more appropriately reflect the influence of a local obstacle. When there are a plurality of virtual objects, one of the acquisition position k and the interpolation position q is set as a processing position for the virtual object that is not in a partially affected state, and is in a partially affected state. For the virtual object, one of the acquisition position k and the interpolation position q may be set as a processing position for each part of the virtual object. When the virtual object is shaded or a shadow is created using the processing position set in this way, when the partial influence is not assumed (when one processing position is set for one virtual object) When the partial influence assumption state is performed in the same manner as in the embodiment, the entire virtual object is subjected to shading using the intensity LI [n] of the virtual light source Lv [n] at each processing position for each part of the virtual object. Linear sum images Isum [j] and Dsum [j corresponding to the entire virtual object are generated by performing linear shading and creating a linear sum image using the brightness parameter Ss [i] at each processing position for each part of the virtual object. ] To create the shadow plane F [j]. In this modified example, for a single virtual object, when a partial influence is not assumed, one processing position is set for the one virtual object. Although it has been described that a plurality of processing positions are set for a virtual object, it is assumed that a plurality of processing positions are set for the one virtual object regardless of whether it is partially assumed or not. Also good.
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、補間位置qから基礎光源L[i]に対応する領域方向の障害物と補間位置qとの距離t[q,i]を考慮して前述の式(2)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、距離t[q,i]を考慮せずに、次式(7)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, when setting the brightness parameter S [q, i] at the interpolation position q, the obstacle and the interpolation in the region direction corresponding to the basic light source L [i] from the interpolation position q are interpolated. The brightness parameter S [q, i] at the interpolation position q is set by the above-described equation (2) in consideration of the distance t [q, i] with respect to the position q, but the distance t [q, i] The brightness parameter S [q, i] at the interpolation position q may be set by the following equation (7) without considering the above.
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、Nk個の取得位置k(1〜Nk)から選択したNksel個の選択取得位置ksel(1〜Nksel、但し2≦Nksel≦Nk)における明るさパラメータS[ksel,i]を用いて設定するものとしたが、Nksel個の選択取得位置kselにおける全方位画像G[ksel]を用いて次式(8)により補間位置qにおける全方位画像G[q]を設定し、設定した補間位置qにおける全方位画像G[q]を用いて、実施例の取得位置kにおける明るさパラメータS[k,i]の設定と同様に、補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。なお、この場合、補間位置qにおける全方位画像G[q]の各位置の中心に対する座標に応じて、前述の式(2)と同様に補間位置qと障害物との距離を考慮して、補間位置qにおける全方位画像G[q]を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, when setting the brightness parameter S [q, i] at the interpolation position q, Nksel selected acquisition positions selected from Nk acquisition positions k (1 to Nk). The brightness parameter S [ksel, i] at ksel (1 to Nksel, where 2 ≦ Nksel ≦ Nk) is set. However, the omnidirectional image G [ksel] at Nksel selected acquisition positions ksel is used. Then, the omnidirectional image G [q] at the interpolation position q is set by the following equation (8), and the brightness parameter S at the acquisition position k of the embodiment is used by using the omnidirectional image G [q] at the set interpolation position q. Similar to the setting of [k, i], the brightness parameter S [q, i] at the interpolation position q may be set. In this case, according to the coordinates with respect to the center of each position of the omnidirectional image G [q] at the interpolation position q, the distance between the interpolation position q and the obstacle is considered in the same manner as in the above equation (2). The omnidirectional image G [q] at the interpolation position q may be set.
実施例の複合現実感表現システム20では、補間位置明るさパラメータ設定装置36によって補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、補間位置明るさパラメータ設定装置36を備えず、補間位置qにおける明るさパラメータS[q,i]を設定しないものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness parameter S [q, i] at the interpolation position q is set by the interpolation position brightness parameter setting device 36. The brightness parameter S [q, i] at the interpolation position q may not be set.
実施例の複合現実感表現システム20では、仮想物体と影平面F[j]とを合成した仮想合成画像を作成せずに、現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成するものとしたが、仮想物体と影平面F[j]とを合成した仮想合成画像を作成してからその仮想合成画像と現実画像とを合成した現実仮想合成画像を作成するものとしてもよいし、仮想物体と影平面F[j]とを合成した仮想合成画像を作成するだけで、現実仮想合成画像を作成しないものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the real image, the virtual object, and the shadow plane F [j] are combined without creating a virtual composite image that combines the virtual object and the shadow plane F [j]. Although a virtual composite image is to be created, a virtual composite image obtained by combining the virtual object and the shadow plane F [j] is generated, and then a real virtual composite image is generated by combining the virtual composite image and the real image. It is also possible to create a virtual composite image obtained by combining the virtual object and the shadow plane F [j], and not to create a real virtual composite image.
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するものとしたが、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40の間で明るさパラメータS[k,i],S[q,i]などのデータを双方向通信するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness parameter S [k, i], S [q, i from the acquired position brightness parameter setting device 34 or the interpolation position brightness parameter setting device 36 to the composite image creating device 40. ] Is distributed over the network, but the brightness parameters S [k, i], S [q,... Are obtained between the acquisition position brightness parameter setting device 34, the interpolation position brightness parameter setting device 36, and the composite image creation device 40. Data such as i] may be bidirectionally communicated.
実施例の複合現実感表現システム20では、明るさ情報取得装置22は、図6に例示したように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置して構成するものとしたが、これに限られず、例えば、図27の変形例の明るさ情報取得装置122に例示するように、地表面よりも天頂側の半球上に設けられた複数の領域(例えば、半球をGeodesic Domeを用いて分割した複数の三角形領域など)のそれぞれの内部や頂点に光センサ(例えば、フォトダイオードやフォトトランジスタなど)122aを配置して構成するものとしてもよい。この場合、全方位画像G[k]を取得せず、光センサ122aにより検出された値を用いて取得位置kにおける明るさパラメータS[k,i]を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness information acquisition device 22 is configured by arranging the camera 22a equipped with the fisheye lens 22b facing the zenith direction as illustrated in FIG. For example, as illustrated in the brightness information acquisition device 122 of the modified example of FIG. 27, a plurality of regions (for example, using a Geodesic Domain for the hemisphere) provided on the hemisphere on the zenith side of the ground surface. A plurality of triangular regions divided into two or the like) may be configured by disposing an optical sensor (e.g., a photodiode or a phototransistor) 122a inside or at the apex. In this case, the brightness parameter S [k, i] at the acquisition position k may be set using the value detected by the optical sensor 122a without acquiring the omnidirectional image G [k].
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34と補間位置明るさパラメータ設定装置36とデータベースサーバ38と合成画像作成装置40とがそれぞれネットワーク32に接続されているものとしたが、これらの一部または全部が一体(一つのコンピュータ)に構成されるものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the acquired position / brightness parameter setting device 34, the interpolation position / brightness parameter setting device 36, the database server 38, and the composite image creation device 40 are connected to the network 32, respectively. However, some or all of these may be integrated (one computer).
実施例の複合現実感表現システム20では、撮影装置52,位置姿勢取得装置54,表示装置56がHMD50として一体に形成されるものとしたが、撮影装置52,位置姿勢取得装置54,表示装置56の一部が一体に形成されるものとしてもよいし、それぞれが独立して形成されるものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the photographing device 52, the position / orientation acquisition device 54, and the display device 56 are integrally formed as the HMD 50. However, the photographing device 52, the position / orientation acquisition device 54, and the display device 56 are integrated. May be formed integrally, or may be formed independently of each other.
実施例の複合現実感表現システム20では、HMD50を用いるものとしたが、HMD50に代えて、ハンドヘルド型や投影型のディスプレイなどを用いるものとしてもよい。ここで、ハンドヘルド型のディスプレイ(例えば、タブレットPCや液晶ディスプレイなど)を用いる場合、例えば、撮影装置52が装着されたハンドヘルド型ディスプレイをユーザが移動させたり回転させたりすることにより、ディスプレイに現実仮想合成画像を表示させることができる。また、投影型のディスプレイを用いる場合、例えば、現実空間の壁面などの投影可能な物体に、室内設置用や手持ち用,頭部装着用のプロジェクタによって仮想物体およびその影を投影することにより、現実仮想合成画像を表示させることができる。 In the mixed reality expression system 20 of the embodiment, the HMD 50 is used. However, instead of the HMD 50, a handheld display or a projection display may be used. Here, when a handheld display (for example, a tablet PC or a liquid crystal display) is used, for example, the user can move or rotate the handheld display on which the photographing device 52 is mounted, so that the virtual reality is displayed on the display. A composite image can be displayed. When a projection display is used, for example, a virtual object and its shadow are projected onto an object that can be projected, such as a wall in a real space, by a projector for indoor installation, hand-held use, or head-mounted operation. A virtual composite image can be displayed.
実施例の複合現実感表現システム20では、撮影装置52により撮影された現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成するいわゆるビデオシースルー方式を用いるものとしたが、透過型ディスプレイを用いて現実空間に仮想物体を重畳して表示する光学シースルー方式を用いるものとしてもよい。なお、光学シースルー方式の場合には、ユーザが見ている現実空間に仮想物体およびその影を合成するため、撮影装置52が必要なく、より簡易な構成にすることができる。 In the mixed reality expression system 20 of the embodiment, a so-called video see-through method is used in which a real virtual composite image obtained by combining a real image captured by the imaging device 52, a virtual object, and its shadow is used. An optical see-through method may be used in which a virtual object is superimposed and displayed in the real space using a display. In the case of the optical see-through method, since the virtual object and its shadow are synthesized in the real space that the user is looking at, the photographing device 52 is not necessary and a simpler configuration can be achieved.
実施例では、複合現実感表現システム20として説明したが、複合現実感を表現する方法の形態としたり、現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成する方法の形態としたり、仮想物体とその影とを合成した仮想合成画像を作成する方法の形態としたり、仮想物体の影を作成する方法の形態としたり、これらの方法を1以上のコンピュータに実行させるためのプログラムの形態としたりするものとしてもよい。 In the embodiment, the mixed reality expression system 20 has been described. However, a mixed reality representation method or a real virtual composite image in which a real image, a virtual object, and its shadow are synthesized is used. Or a form of a method for creating a virtual composite image in which a virtual object and its shadow are synthesized, a form of a method for creating a shadow of a virtual object, or a program for causing one or more computers to execute these methods It may be in the form of
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。 As mentioned above, although the form for implementing this invention was demonstrated using the Example, this invention is not limited at all to such an Example, In the range which does not deviate from the summary of this invention, it is with various forms. Of course, it can be implemented.
本発明は、仮想物体影作成装置や合成画像作成装置の製造産業に利用可能である。 The present invention can be used in the manufacturing industry of virtual object shadow creation devices and composite image creation devices.
20 複合現実感表現システム、22 明るさ情報取得装置、22a カメラ、22b 魚眼レンズ、30 複合現実感演算装置、32 ネットワーク、34 取得位置明るさパラメータ設定装置、36 補間位置明るさパラメータ設定装置、38 データベースサーバ、40 合成画像作成装置、50 頭部装着型映像装置(HMD)、52 撮影装置、54 位置姿勢取得装置、56 表示装置。 DESCRIPTION OF SYMBOLS 20 Mixed reality expression system, 22 Brightness information acquisition apparatus, 22a Camera, 22b Fisheye lens, 30 Mixed reality calculation apparatus, 32 Network, 34 Acquisition position brightness parameter setting apparatus, 36 Interpolation position brightness parameter setting apparatus, 38 Database Server, 40 composite image creation device, 50 head-mounted video device (HMD), 52 photographing device, 54 position and orientation acquisition device, 56 display device.
Claims (14)
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備える仮想物体影作成装置。 A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
Brightness parameter setting means for setting the brightness parameter at a plurality of positions in the real space;
When creating a shadow of an arbitrary virtual object of the at least one virtual object, the virtual object is scheduled to be placed in a real space among a plurality of parameter setting positions where the brightness parameter is set A shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the position;
A virtual object shadow creation device comprising:
前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 1,
The brightness parameter setting means is means for setting the brightness parameter at the plurality of parameter setting positions including a plurality of acquisition positions, which are positions for acquiring brightness information including light intensity.
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 2,
For the unacquired position where the brightness information is not acquired among the plurality of parameter setting positions, the brightness parameter setting means is configured to obtain the brightness information or the brightness parameter at at least a part of the plurality of acquisition positions. A means for setting the brightness parameter at the unacquired position using
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 3,
The brightness parameter setting means is a fault that affects light intensity and / or direction at the unacquired position in addition to the brightness information or the brightness parameter at at least a part of the plurality of acquired positions. Means for setting the brightness parameter at the unacquired position using a distance between an object and the unacquired position;
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、
仮想物体影作成装置。
The brightness parameter setting unit is configured to select Nksel selected acquisition positions ksel (ksel is 1 to Nksel, where 2 ≦ Nksel ≦ Nk) selected from Nk (Nk ≧ 2) acquisition positions k (k is 1 to Nk). ) And the unacquired position q, the distance parameter a [q, ksel], the brightness parameter S [ksel] at the selected acquired position ksel, and the distance t [ q] (t [q] ≧ 0) and calculating the brightness parameter S [q] at the unacquired position q by the following equation (A):
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 5,
The brightness parameter setting means is a means for setting the brightness parameter at a plurality of positions including a planned placement position in all real spaces of the at least one virtual object.
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 6,
The shadow creating means, when creating a shadow of the arbitrary virtual object, for each of a plurality of portions each corresponding to a part of the arbitrary virtual object, from a predetermined arrangement position of the portion in the real space Means for creating a shadow of the entire virtual object by creating a shadow of the portion using the brightness parameter at one position within a range;
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 6,
When creating a shadow of the arbitrary virtual object, the shadow creating means is configured to generate the shadow of the arbitrary virtual object when the light source environment for each part of the arbitrary virtual object is not assumed to be constant. The entire shadow of the arbitrary virtual object is created using the brightness parameter at one position within a predetermined range from the planned placement position in the real space. For each of a plurality of parts corresponding to a part of the virtual object, by creating a shadow of the part using the brightness parameter at one position within a predetermined range from a position where the part is planned to be arranged in the real space A means for creating the entire shadow of any virtual object,
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 8,
The shadow creating means, when creating a shadow of the arbitrary virtual object, a plurality of basic shadow images and basic diffusion images predetermined for the arbitrary virtual object, and arrangement of the arbitrary virtual object in the real space Means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position;
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、
前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 9,
The brightness parameter setting means is means for outputting brightness parameters at the plurality of set parameter setting positions to a network,
The shadow creating means is means for obtaining the brightness parameter at the plurality of parameter setting positions from the network.
Virtual object shadow creation device.
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、
を備える合成画像作成装置。 The virtual object shadow creation device according to any one of claims 1 to 10,
Virtual synthesized image creating means for creating a virtual synthesized image by synthesizing the shadow of the at least one virtual object and the created at least one virtual object;
A composite image creating apparatus.
現実空間の画像である現実画像を取得する現実画像取得手段と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、
を備える合成画像作成装置。 The virtual object shadow creation device according to any one of claims 1 to 10,
A real image acquisition means for acquiring a real image which is an image of a real space;
A real virtual composite image creating means for creating a real virtual composite image obtained by combining the shadow of the at least one virtual object and the created at least one virtual object and the acquired real image;
A composite image creating apparatus.
(a)コンピューターが、現実空間の複数の位置における前記明るさパラメータを設定するステップと、
(b)コンピューターが、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成するステップと、
を備えることを特徴とする仮想物体影作成方法。 A virtual object shadow creation method for creating a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
(A) a computer setting the brightness parameter at a plurality of positions in real space ;
(B) When the computer creates a shadow of an arbitrary virtual object among the at least one virtual object, the virtual object of the arbitrary virtual object among a plurality of parameter setting positions where the brightness parameter is set Creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position in the real space ; and
Virtual object shadow creating method characterized by comprising a.
The program for making one or more computers perform each step of the virtual object shadow production method of Claim 13.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009211891A JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009211891A JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011060195A JP2011060195A (en) | 2011-03-24 |
JP5446003B2 true JP5446003B2 (en) | 2014-03-19 |
Family
ID=43947722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009211891A Expired - Fee Related JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5446003B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9311751B2 (en) * | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
EP3012805A1 (en) * | 2014-10-21 | 2016-04-27 | The Procter and Gamble Company | Synthesizing an image of fibers |
JP7188902B2 (en) * | 2018-03-30 | 2022-12-13 | 東京ガスiネット株式会社 | Information processing system and program |
JP7188901B2 (en) * | 2018-03-30 | 2022-12-13 | 東京ガスiネット株式会社 | Information processing system and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175762A (en) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | Light environment measuring instrument and device and method for shading virtual image using same |
JP2002117413A (en) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | Image generating device and image generating method for reflecting light source environmental change in real time |
WO2008063168A1 (en) * | 2006-11-20 | 2008-05-29 | Thomson Licensing | Method and system for modeling light |
-
2009
- 2009-09-14 JP JP2009211891A patent/JP5446003B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011060195A (en) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11069135B2 (en) | On-set facial performance capture and transfer to a three-dimensional computer-generated model | |
US11671717B2 (en) | Camera systems for motion capture | |
US11694392B2 (en) | Environment synthesis for lighting an object | |
CN110148204B (en) | Method and system for representing virtual objects in a view of a real environment | |
JP7007348B2 (en) | Image processing equipment | |
JP2021527895A (en) | Object modeling operation method and device and device | |
KR101145260B1 (en) | Apparatus and method for mapping textures to object model | |
JP2006053694A (en) | Space simulator, space simulation method, space simulation program and recording medium | |
CN107341853A (en) | Super large virtual scene and dynamic take the photograph the virtual reality fusion method and system of screen | |
JP6782108B2 (en) | Visible rate calculation device | |
US8294713B1 (en) | Method and apparatus for illuminating objects in 3-D computer graphics | |
US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
CN116485984B (en) | Global illumination simulation method, device, equipment and medium for panoramic image vehicle model | |
JP5446003B2 (en) | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program | |
CA3199390A1 (en) | Systems and methods for rendering virtual objects using editable light-source parameter estimation | |
WO2019042028A1 (en) | All-around spherical light field rendering method | |
JPH06348815A (en) | Method for setting three-dimensional model of building aspect in cg system | |
US20220392121A1 (en) | Method for Improved Handling of Texture Data For Texturing and Other Image Processing Tasks | |
US20180005432A1 (en) | Shading Using Multiple Texture Maps | |
JP2007272847A (en) | Lighting simulation method and image composition method | |
Triantafyllou et al. | Practical techniques for aerial photogrammetry, polygon reduction and aerial 360 photography for cultural heritage preservation in AR and VR applications | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
JP2009205522A (en) | Program, information storage medium, and information conversion system | |
US11380048B2 (en) | Method and system for determining a spectral representation of a color |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131213 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |