JP5446003B2 - Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program - Google Patents
Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program Download PDFInfo
- Publication number
- JP5446003B2 JP5446003B2 JP2009211891A JP2009211891A JP5446003B2 JP 5446003 B2 JP5446003 B2 JP 5446003B2 JP 2009211891 A JP2009211891 A JP 2009211891A JP 2009211891 A JP2009211891 A JP 2009211891A JP 5446003 B2 JP5446003 B2 JP 5446003B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- shadow
- brightness parameter
- brightness
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本発明は、仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムに関する。 The present invention relates to a virtual object shadow creation device, a composite image creation device, a virtual object shadow creation method, and a program.
従来、この種の仮想物体影作成装置としては、１台のカメラにより計測された実世界の光源環境を用いて仮想物体の影を作成するものが提案されている（例えば、非特許文献１参照）。この装置では、一つの光源環境を用いて作成した一つの仮想物体の影と一つの仮想物体と現実空間の画像とを合成することにより、現実空間とコンピュータグラフィックス（CG：Computer Graphics）によって表現された仮想空間との融合による複合現実感（MR：Mixed Reality）を表現している。 Conventionally, as this type of virtual object shadow creation device, a device that creates a shadow of a virtual object using a real-world light source environment measured by a single camera has been proposed (for example, see Non-Patent Document 1). ). This device combines the shadow of one virtual object created using one light source environment with one virtual object and an image of the real space to represent the real space and computer graphics (CG). It expresses mixed reality (MR) by fusing with the created virtual space.
こうした仮想物体影作成装置では、複合現実感をより適正に表現するために、仮想物体の影の作成において現実空間の光源環境をより適正に反映させることが重要な課題の一つとされている。上述の仮想物体影作成装置では、一つの光源環境を用いて仮想物体の影を作成するため、仮想物体の形状や位置，数によっては、仮想物体の影を作成する際に、現実空間の建造物や樹木，地形などが仮想物体に与える影響を適正に反映することができない場合が生じる。 In such a virtual object shadow creation device, in order to more appropriately express mixed reality, it is considered as one of the important issues to more appropriately reflect the light source environment in the real space in creating the shadow of the virtual object. In the above-described virtual object shadow creation device, a shadow of a virtual object is created using a single light source environment. Therefore, depending on the shape, position, and number of virtual objects, when creating a shadow of a virtual object, the construction of a real space is performed. There are cases where the influence of objects, trees, terrain, etc. on virtual objects cannot be properly reflected.
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、仮想物体の影をより適正に作成することを主目的とする。 The main object of the virtual object shadow creation device, the composite image creation device, the virtual object shadow creation method, and the program of the present invention is to more appropriately create a shadow of a virtual object.
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、上述の主目的を達成するために以下の手段を採った。 The virtual object shadow creation device, the composite image creation device, the virtual object shadow creation method, and the program according to the present invention employ the following means in order to achieve the main object described above.
本発明の仮想物体影作成装置は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備えることを要旨とする。
The virtual object shadow creation device of the present invention is
A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
Brightness parameter setting means for setting the brightness parameter at a plurality of positions in the real space;
When creating a shadow of an arbitrary virtual object of the at least one virtual object, the virtual object is scheduled to be placed in a real space among a plurality of parameter setting positions where the brightness parameter is set A shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the position;
It is a summary to provide.
この本発明の仮想物体影作成装置では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境（明るさの環境）が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 In the virtual object shadow creation device of the present invention, a brightness parameter, which is a parameter reflecting the intensity and direction of light in real space at a plurality of positions, is set, and the shadow of an arbitrary virtual object among at least one virtual object is set. Is created, the brightness parameter at at least one position within a predetermined range from the planned placement position of an arbitrary virtual object in the real space among a plurality of parameter setting positions where the brightness parameter is set. Use to create a shadow of any virtual object. That is, when creating a shadow of a virtual object, a shadow of an arbitrary virtual object is created using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space. is there. As a result, even when the light source environment (brightness environment) may differ depending on the position in the real space, the shadow of the virtual object is created using the brightness parameter that more appropriately reflects the light source environment in the real space. Therefore, the shadow of the virtual object can be created more appropriately. Here, “within a predetermined range from the planned placement position of the virtual object in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the virtual object in the real space. It can also be.
こうした本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、ものとすることもできる。この態様の本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータを設定することができる。この場合、前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および／または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータをより適正に設定することができる。この場合、前記明るさパラメータ設定手段は、Ｎｋ（Ｎｋ≧２）個の前記取得位置ｋ（ｋは１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（ｋｓｅｌは１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）の各々と前記未取得位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、前記選択取得位置ｋｓｅｌにおける前記明るさパラメータＳ［ｋｓｅｌ］と、前記未取得位置ｑと前記障害物との距離ｔ［ｑ］（ｔ［ｑ］≧０）と、を用いて前記未取得位置ｑにおける前記明るさパラメータＳ［ｑ］を次式（Ａ）により計算する手段である、ものとすることもできる。
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、ものとすることもできる。 Further, in the virtual object shadow creation device according to the present invention, the brightness parameter setting means sets the brightness parameter at a plurality of positions including planned placement positions in all real spaces of the at least one virtual object. It can also be.
さらに、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、現実空間の光源環境をより適正に反映して仮想物体の影を作成することができる。ここで、「部分の現実空間での配置予定位置から所定範囲内」は、その部分の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 Furthermore, in the virtual object shadow creation device of the present invention, when creating the shadow of the arbitrary virtual object, the shadow creation means, for each of a plurality of portions each corresponding to a part of the arbitrary virtual object, Means for creating an overall shadow of the arbitrary virtual object by creating a shadow of the part using the brightness parameter at one position within a predetermined range from a planned placement position of the part in the real space; There can be. In this way, the shadow of the virtual object can be created by more appropriately reflecting the light source environment in the real space. Here, “within a predetermined range from the planned placement position of the part in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the part in the real space. You can also.
あるいは、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、前者の場合には簡易に仮想物体の影を作成することができ、後者の場合には現実空間の光源環境をより適正に反映して仮想物体全体の影を作成することができる。 Alternatively, in the virtual object shadow creation device of the present invention, when the shadow creation means creates the shadow of the arbitrary virtual object, it is assumed that the light source environment for each part of the arbitrary virtual object is not constant. When it is not a partial influence assumption state, an entire shadow of the arbitrary virtual object is created using the brightness parameter at one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space, In the case of a partial influence assumption state, the brightness parameter at one position within a predetermined range from the planned placement position of the part in the real space for each of a plurality of parts each corresponding to a part of the arbitrary virtual object It is also possible to create a shadow of the entire virtual object by creating a shadow of the part by using the part. In this way, the shadow of the virtual object can be easily created in the former case, and the shadow of the entire virtual object can be created more appropriately reflecting the light source environment in the real space in the latter case. .
加えて、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、ものとすることもできる。 In addition, in the virtual object shadow creation device according to the present invention, when creating the shadow of the arbitrary virtual object, the shadow creation means has a plurality of basic shadow images and basic diffusion images predetermined for the arbitrary virtual object. And a means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space, and You can also
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、ものとすることもできる。こうすれば、明るさパラメータ設定手段が処理中であるか否かに拘わらず即ち明るさパラメータ設定手段とは独立して影作成手段の数を１以上の範囲で増減することができる。 Further, in the virtual object shadow creation device of the present invention, the brightness parameter setting means is means for outputting brightness parameters at the plurality of set parameter setting positions to a network, and the shadow creation means is from the network. It may be a means for obtaining the brightness parameter at the plurality of parameter setting positions. In this way, the number of shadow creating means can be increased or decreased within a range of 1 or more independently of whether the brightness parameter setting means is processing, that is, independently of the brightness parameter setting means.
本発明の第１の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、を備えることを要旨とする。 The first composite image creation device of the present invention is the virtual object shadow creation device of the present invention according to any one of the above-described aspects, that is, basically brightness that is a parameter reflecting the intensity and direction of light in real space. A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter, the brightness parameter setting means for setting the brightness parameter at a plurality of positions in real space; , When creating a shadow of an arbitrary virtual object among the at least one virtual object, an arrangement of the arbitrary virtual object in a real space among a plurality of parameter setting positions where the brightness parameter is set A virtual object comprising: shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position And shadow creation device, and summarized in that comprises a virtual composite image creating means, a to create a virtual composite image of the shadow was synthesized in which the at least one virtual object is created the at least one virtual object.
この本発明の第１の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて仮想合成画像を作成することにより、仮想合成画像をより適正に作成することができる。 Since the first composite image creation device of the present invention includes the virtual object shadow creation device of the present invention according to any one of the above-described aspects, the effect of the virtual object shadow creation device described above, for example, the shadow of the virtual object can be obtained. The effect etc. which can be produced more appropriately can be produced. Then, by creating a virtual composite image using a more appropriate shadow of the virtual object, the virtual composite image can be created more appropriately.
本発明の第２の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、現実空間の画像である現実画像を取得する現実画像取得手段と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、を備えることを要旨とする。 The second composite image creation apparatus of the present invention is the virtual object shadow creation apparatus of the present invention according to any one of the above-described aspects, that is, basically brightness that is a parameter reflecting the intensity and direction of light in real space. A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter, the brightness parameter setting means for setting the brightness parameter at a plurality of positions in real space; , When creating a shadow of an arbitrary virtual object among the at least one virtual object, an arrangement of the arbitrary virtual object in a real space among a plurality of parameter setting positions where the brightness parameter is set A virtual object comprising: shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position A shadow creation device, a real image acquisition means for acquiring a real image that is an image of a real space, and the at least one virtual object, the shadow of the generated at least one virtual object, and the acquired real image are combined. And a real virtual composite image creating means for creating the real virtual composite image.
この本発明の第２の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて現実仮想合成画像を作成することにより、現実仮想合成画像をより適正に作成することができる。 Since the second composite image creation apparatus of the present invention includes the virtual object shadow creation apparatus of the present invention according to any one of the above-described aspects, the effect of the virtual object shadow creation apparatus described above, for example, the shadow of the virtual object can be obtained. The effect etc. which can be produced more appropriately can be produced. Then, by creating a real virtual composite image using a shadow of a more appropriate virtual object, the real virtual composite image can be created more appropriately.
本発明の仮想物体影作成方法は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
（ａ）現実空間の複数の位置における前記明るさパラメータを設定し、
（ｂ）前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする。
The virtual object shadow creation method of the present invention includes:
A virtual object shadow creation method for creating a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
(A) setting the brightness parameter at a plurality of positions in the real space;
(B) When creating a shadow of an arbitrary virtual object among the at least one virtual object, in a real space of the arbitrary virtual object among a plurality of parameter setting positions where the brightness parameter is set Creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position of
It is characterized by that.
この本発明の仮想物体影作成方法では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境（明るさの環境）が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。 In this virtual object shadow creation method of the present invention, a brightness parameter which is a parameter reflecting the intensity and direction of light in real space at a plurality of positions is set, and the shadow of an arbitrary virtual object among at least one virtual object is set. Is created, the brightness parameter at at least one position within a predetermined range from the planned placement position of an arbitrary virtual object in the real space among a plurality of parameter setting positions where the brightness parameter is set. Use to create a shadow of any virtual object. That is, when creating a shadow of a virtual object, a shadow of an arbitrary virtual object is created using the brightness parameter at at least one position within a predetermined range from the planned placement position of the arbitrary virtual object in the real space. is there. As a result, even when the light source environment (brightness environment) may differ depending on the position in the real space, the shadow of the virtual object is created using the brightness parameter that more appropriately reflects the light source environment in the real space. Therefore, the shadow of the virtual object can be created more appropriately. Here, “within a predetermined range from the planned placement position of the virtual object in the real space” is within a range where the light source environment can be assumed to be substantially equal to the planned placement position of the virtual object in the real space. It can also be.
本発明のプログラムは、上述のいずれかの態様の本発明の仮想物体影作成方法のステップを１以上のコンピューターに実現させるためのものである。このプログラムは、コンピューターが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピューターから別のコンピューターに配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピューターに実行させるか又は複数のコンピューターにステップを分担して実行させれば、上述の本発明の仮想物体影作成方法のステップが実行されるため、本発明の仮想物体影作成方法と同様の作用効果が得られる。 The program of the present invention is for causing one or more computers to implement the steps of the virtual object shadow creation method of the present invention of any of the above-described aspects. This program may be recorded on a computer-readable recording medium (for example, hard disk, ROM, FD, CD, DVD, etc.) or from a computer via a transmission medium (communication network such as the Internet or LAN). It may be distributed to another computer, or may be exchanged in any other form. If this program is executed by a single computer, or if the steps are shared and executed by a plurality of computers, the steps of the above-described virtual object shadow generation method of the present invention are executed. The same effect as the method can be obtained.
次に、本発明を実施するための形態を実施例を用いて説明する。 Next, the form for implementing this invention is demonstrated using an Example.
図１〜図３は、本発明の一実施例としての複合現実感表現システム２０の構成の概略を示す構成図である。図１は、屋外で複合現実感表現システム２０を用いる場合の一例を示し、図２は、屋内で複合現実感表現システム２０を用いる場合の一例を示す。実施例の複合現実感表現システム２０は、現実空間とコンピュータグラフィックス（CG：Computer Graphics）によって描かれた仮想空間との融合による複合現実感（MR：Mixed Reality）を表現するためのシステムとして構成されている。この複合現実感表現システム２０は、図１〜図３に示すように、現実空間の複数の位置に配置されてそれぞれの配置位置（取得位置）における光の強度を含む情報（光源環境（明るさの環境）を反映する情報、以下、明るさ情報という）を取得する複数の明るさ情報取得装置２２と、現実空間の画像である現実画像を撮影する撮影装置５２（図３参照）と、ユーザの位置や姿勢を取得する位置姿勢取得装置５４（図３参照）と、複数の明るさ情報，現実画像，ユーザの位置や姿勢などを用いて複合現実感（ＭＲ）を表現するための演算を行なう（具体的には、仮想的な物体である仮想物体の影を作成したり現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成したりする）複合現実感演算装置３０と、複合現実感（ＭＲ）を表現する（具体的には、現実仮想合成画像を表示する）表示装置５６（図３参照）と、を備える。 1 to 3 are block diagrams showing an outline of the configuration of a mixed reality expression system 20 as an embodiment of the present invention. FIG. 1 shows an example when the mixed reality expression system 20 is used outdoors, and FIG. 2 shows an example when the mixed reality expression system 20 is used indoors. The mixed reality expression system 20 of the embodiment is configured as a system for expressing mixed reality (MR) by fusing a real space and a virtual space drawn by computer graphics (CG). Has been. As shown in FIGS. 1 to 3, the mixed reality expression system 20 is arranged at a plurality of positions in the real space and includes information (light source environment (brightness) including light intensity at each position (acquisition position). A plurality of brightness information acquisition devices 22 for acquiring information reflecting the environment (hereinafter referred to as brightness information), a photographing device 52 (see FIG. 3) for capturing a real image that is an image of a real space, and a user And a position / orientation acquisition device 54 (see FIG. 3) for acquiring the position and orientation of the image, and a calculation for expressing mixed reality (MR) using a plurality of brightness information, a real image, the position and orientation of the user, and the like. (Specifically, creating a shadow of a virtual object that is a virtual object, or creating a real virtual composite image that combines a real image, a virtual object, and its shadow) , Expressing mixed reality (MR) That (specifically, displays a real virtual composite image) and a display device 56 (see FIG. 3), the.
複数の明るさ情報取得装置２２は、それぞれ、取得位置における明るさ情報として、現実空間の光源環境（明るさの環境）を地表面よりも天頂側の半球状の面光源としてモデル化したときにその半球状の面光源の全ての領域の光の強度を反映した画像（以下、全方位画像という）を取得する装置として構成されている。半球状の面光源の一例を図４に示し、取得位置における全方位画像の一例を図５に示す。この明るさ情報取得装置２２は、実施例では、図６に例示するように、魚眼レンズ２２ｂを装着したカメラ２２ａを天頂方向に向けて配置する、ことにより構成するものとした。 Each of the plurality of brightness information acquisition devices 22 models the light source environment (brightness environment) in the real space as the hemispherical surface light source on the zenith side of the ground surface as the brightness information at the acquisition position. The apparatus is configured as an apparatus that acquires an image (hereinafter referred to as an omnidirectional image) that reflects the intensity of light in all regions of the hemispherical surface light source. An example of a hemispherical surface light source is shown in FIG. 4, and an example of an omnidirectional image at the acquisition position is shown in FIG. In this embodiment, the brightness information acquisition device 22 is configured by arranging a camera 22a equipped with a fisheye lens 22b in the zenith direction as illustrated in FIG.
複合現実感演算装置３０は、複数の明るさ情報取得装置２２とネットワーク３２とに接続され取得位置の各々における光の強度や方向を反映するパラメータ（以下、明るさパラメータという）を設定する取得位置明るさパラメータ設定装置３４と、ネットワーク３２に接続され取得位置とは異なる位置（以下、補間位置という）における明るさパラメータを設定する補間位置明るさパラメータ設定装置３６と、ネットワーク３２に接続され仮想物体のデータなどを記憶するデータベースサーバ３８と、ネットワーク３２に接続され現実仮想合成画像を作成する合成画像作成装置４０と、を備える。ここで、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６，合成画像作成装置４０は、それぞれ図示しないＣＰＵやＲＯＭ，ＲＡＭ，ハードディスクなどを備える周知のコンピュータとして構成されている。また、データベースサーバ３８には、仮想物体のデータの他に、仮想物体の影の作成に用いる基礎データ（後述の影付け平面や基礎影画像，基礎拡散画像など）なども記憶されている。なお、取得位置明るさパラメータ設定装置３４や合成画像作成装置４０は、それぞれ、一つであるものとしてもよいし、複数であるものとしてもよい（図１〜図３では複数の場合を図示した）。また、データベースサーバ３８に記憶される基礎データは、実施例では、図示しないコンピュータによる後述の準備処理により作成されるものとした。 The mixed reality calculation device 30 is connected to the plurality of brightness information acquisition devices 22 and the network 32, and acquires an acquisition position for setting a parameter (hereinafter referred to as a brightness parameter) reflecting the intensity and direction of light at each of the acquisition positions. A brightness parameter setting device 34, an interpolation position brightness parameter setting device 36 for setting a brightness parameter at a position (hereinafter referred to as an interpolation position) connected to the network 32 and different from the acquisition position, and a virtual object connected to the network 32 A database server 38 for storing the data and a composite image creation device 40 connected to the network 32 for creating a real virtual composite image. Here, the acquisition position / brightness parameter setting device 34, the interpolation position / brightness parameter setting device 36, and the composite image creation device 40 are each configured as a well-known computer including a CPU, ROM, RAM, hard disk, and the like (not shown). In addition to the virtual object data, the database server 38 also stores basic data (such as a shadowing plane, a basic shadow image, and a basic diffusion image, which will be described later) used to create a shadow of the virtual object. Note that the acquisition position / brightness parameter setting device 34 and the composite image creation device 40 may each be one or may be plural (FIGS. 1 to 3 illustrate a plurality of cases. ). Further, in the embodiment, the basic data stored in the database server 38 is created by a preparation process described later by a computer (not shown).
撮影装置５２，位置姿勢取得装置５４，表示装置５６は、実施例では、頭部装着型映像表示装置（HMD: Head Mounted Display）５０として一体に形成されるものとした。ＨＭＤ５０の一例を図７に示す。また、位置姿勢取得装置５４は、実施例では、磁気センサやＧＰＳ（Global Positioning System），ジャイロセンサ，加速度センサなどの一つまたはこれらの組み合わせにより構成されるものとした。 In the embodiment, the imaging device 52, the position / orientation acquisition device 54, and the display device 56 are integrally formed as a head-mounted image display device (HMD: Head Mounted Display) 50. An example of the HMD 50 is shown in FIG. Further, in the embodiment, the position / orientation acquisition device 54 is configured by one or a combination of a magnetic sensor, a GPS (Global Positioning System), a gyro sensor, an acceleration sensor, and the like.
こうして構成された実施例の複合現実感表現システム２０では、図８に例示するように、撮影装置５２により撮影された現実画像を用いて複合現実感演算装置３０により現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成して表示装置５６に表示するいわゆるビデオシースルー方式を用いるものとした。 In the mixed reality expression system 20 of the embodiment configured as described above, as illustrated in FIG. 8, the real image, the virtual object, and the shadow of the real image, the virtual object, and the shadow of the real image taken by the photographing device 52 are used. A so-called video see-through method is used in which a virtual virtual composite image is generated and displayed on the display device 56.
また、この複合現実感表現システム２０では、複合現実感（ＭＲ）を表現するための準備処理として、基礎データを作成してデータベースサーバ３８に記憶させる。そして、複合現実感を表現する逐次処理として、明るさ情報取得装置２２により明るさ情報としての全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置４０により現実仮想合成画像を作成して表示装置５６に表示する。以下、準備処理，逐次処理の順に説明する。 In the mixed reality expression system 20, basic data is created and stored in the database server 38 as a preparation process for expressing mixed reality (MR). Then, as sequential processing expressing mixed reality, the omnidirectional image as the brightness information is acquired by the brightness information acquisition device 22, and the acquired position brightness parameter setting device 34 and the interpolation position are acquired using the acquired omnidirectional image. Brightness parameters at the acquisition position and interpolation position are set by the brightness parameter setting device 36, and a real virtual composite image is created by the composite image creation device 40 using the set brightness parameter at the acquisition position and interpolation position. 56. Hereinafter, the preparation process and the sequential process will be described in this order.
図９は、準備処理として、図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。この基礎画像作成処理ルーチンでは、まず、仮想物体の影の作成に用いる仮想的な平面上の物体（以下、影付け平面という）Ｐｓｈａｄｏｗ［ｊ］（ｊは影付け平面の各々に対応する番号で１〜Ｎｊ、但しＮｊは影付け平面の数）を作成する（ステップＳ１００）。ここで、影付け平面Ｐｓｈａｄｏｗ［ｊ］は、実施例では、仮想物体の幾何モデルから作成するものとした。影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成する様子の一例を図１０に示す。図１０の例では、（ａ）に示す仮想物体の３次元（３Ｄ）モデルに対して、（ｂ）仮想物体の３次元モデルを任意の部分に分割し、（ｃ）分割後の各部分から凸包を作成し、（ｄ）作成した凸包から主要な面を抽出する、ことによりＮｊ枚の影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成している。ここで、凸包とは、２次元空間では点集合の任意の２要素を結ぶ閉線分を内部に含む最小の凸多角形を意味し、３次元空間では任意の３次元形状を囲む最小の凸ポリゴン形状（凸図形）を意味する。このように影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成することにより、仮想物体の３次元モデルの形状に沿った影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成することができる。なお、この影付け平面Ｐｓｈａｄｏｗ［ｊ］の作成処理の一部（例えば、仮想物体の３次元モデルの作成や、作成した３次元モデルの分割）については、手作業によって行なうものとしてもよい。 FIG. 9 is a flowchart showing an example of a basic image creation processing routine executed by a computer (not shown) as the preparation processing. In this basic image creation processing routine, first, an object on a virtual plane used for creating a shadow of a virtual object (hereinafter referred to as a shadow plane) P shadow [j] (j is a number corresponding to each shadow plane. 1 to Nj, where Nj is the number of shaded planes) (step S100). Here, in the embodiment, the shadowing plane Pshadow [j] is created from a geometric model of a virtual object. FIG. 10 shows an example of how the shadowing plane Pshadow [j] is created. In the example of FIG. 10, (b) the three-dimensional model of the virtual object is divided into arbitrary parts with respect to the three-dimensional (3D) model of the virtual object shown in (a). A convex hull is created, and (d) a main surface is extracted from the created convex hull, thereby creating Nj shaded planes P shadow [j]. Here, the convex hull means the smallest convex polygon that contains a closed line segment connecting any two elements of the point set in the two-dimensional space, and the smallest surrounding three-dimensional shape in the three-dimensional space. This means a convex polygon shape (convex figure). By creating the shadow plane Pshado [j] in this way, the shadow plane Pshado [j] along the shape of the three-dimensional model of the virtual object can be created. Note that a part of the process of creating the shadowing plane P shadow [j] (for example, creation of a three-dimensional model of a virtual object or division of the created three-dimensional model) may be performed manually.
続いて、現実の光源環境（明るさの環境）を近似した基礎光源Ｌ［ｉ］（ｉは基礎光源の各々に対応する番号で１〜Ｎｉ、但しＮｉは基礎光源の数）を作成する（ステップＳ１１０）。基礎光源Ｌ［ｉ］は、実施例では、現実空間の光源環境を地表面よりも天頂側の半球状の面光源としてモデル化したときに（図４参照）その半球状の面光源をＧｅｏｄｅｓｉｃ Ｄｏｍｅを用いて分割して得られる離散的な複数の光源をそれぞれ設定するものとした。ここで、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅは、正多面体の各面を分割した辺を正多面体に外接する球の表面上に球の中心から投影したものであり、球面をほぼ等しい面積に分割する性質を有するものである（文献Ａ，Ｂ参照）。このようにして作成した基礎光源Ｌ［ｉ］の一例を図１１に示す。実施例では、図示するように、半球状の面光源に内接する正多面体（例えば正２０面体）をＡｌｔｅｒｎａｔｉｖｅ法（Ｃｌａｓｓ−Ｉ）（文献Ａ参照）によって分割数ｆ（例えば２）で分割し、分割した多面体の各辺を半球面に投影することによりＧｅｏｄｅｓｉｃ Ｄｏｍｅを作成し、作成したＧｅｏｄｅｓｉｃ Ｄｏｍｅの各面を基礎光源Ｌ［ｉ］として設定するものとした。なお、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅの面数（基礎光源Ｌ［ｉ］の数）ｎは、正２０面体で分割数ｆが値２の場合、４０になる。
文献Ａ：A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
文献Ｂ：K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
Subsequently, a basic light source L [i] (i is a number corresponding to each of the basic light sources, 1 to Ni, where Ni is the number of basic light sources) approximating an actual light source environment (brightness environment) ( Step S110). In the embodiment, the basic light source L [i] is obtained by modeling a light source environment in real space as a hemispherical surface light source on the zenith side of the ground surface (see FIG. 4). A plurality of discrete light sources obtained by dividing using the above are set. Here, the Geodesic Domain is obtained by projecting the side obtained by dividing each face of the regular polyhedron from the center of the sphere onto the surface of the sphere circumscribing the regular polyhedron, and has the property of dividing the spherical surface into substantially equal areas. Yes (see references A and B). An example of the basic light source L [i] created in this way is shown in FIG. In the embodiment, as shown in the figure, a regular polyhedron (for example, a regular icosahedron) inscribed in a hemispherical surface light source is divided by a division number f (for example, 2) by an alternative method (Class-I) (see Document A), Each side of the divided polyhedron is projected onto a hemispherical surface to create a geometric dome, and each surface of the created geometric dome is set as a basic light source L [i]. In addition, the number of surfaces of the Geodesic Domain (the number of basic light sources L [i]) n is 40 when the number of divisions f is 2 with a regular icosahedron.
Reference A: A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
Reference B: K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
次に、作成した基礎光源Ｌ［ｉ］（ｉは１〜Ｎｉ）と影付け平面Ｐｓｈａｄｏｗ［ｊ］とを用いて、仮想物体の影の作成に用いる基礎の影画像（以下、基礎影画像という）Ｉｂａｓｉｓ［ｊ，ｉ］（ｊは１〜Ｎｊ）および基礎の拡散反射の画像（以下、基礎拡散画像という）Ｄｂａｓｉｓ［ｊ，ｉ］を設定し（ステップＳ１２０）、設定した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］をデータベースサーバ３８に記憶させて（ステップＳ１３０）、本ルーチンを終了する。基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を設定する様子の一例を図１２に示す。基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］は、実施例では、図示するように、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅ内に配置した影付け平面Ｐｓｈａｄｏｗ［ｊ］上に仮想物体を配置した状態で基礎光源Ｌ［ｉ］から影付け平面Ｐｓｈａｄｏｗ［ｊ］に照射したときの仮想物体の影画像を基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］として設定し、影付け平面Ｐｓｈａｄｏｗ［ｊ］上の仮想物体を除いた状態で基礎光源Ｌ［ｉ］から影付け平面Ｐｓｈａｄｏｗ［ｊ］に照射したときの画像を基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］として設定するものとした。このようにしてＮｊ×Ｎｉ枚の基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を設定する。なお、影付け平面Ｐｓｈａｄｏｗ［ｊ］のうち法線方向が同じものについては、基礎光源Ｌ［ｉ］に対して同じ拡散反射を行なうため、基礎拡散画像を共有するものとしてもよい。また、実施例では、影付け平面Ｐｓｈａｄｏｗ［ｊ］は、Ｌａｍｂｅｒｔ反射すると仮定した。図１０（ａ）の仮想物体に対して作成した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］の一部の一例を図１３に示す。 Next, using the created basic light source L [i] (i is 1 to Ni) and the shadowing plane Pshadow [j], a basic shadow image used for creating a shadow of the virtual object (hereinafter referred to as a basic shadow image). ) Ibasis [j, i] (j is 1 to Nj) and a basic diffuse reflection image (hereinafter referred to as a basic diffuse image) Dbasis [j, i] are set (step S120), and the set basic shadow image Ibasis [ j, i] and the basic diffusion image Dbasis [j, i] are stored in the database server 38 (step S130), and this routine ends. An example of how the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] are set is shown in FIG. In the embodiment, the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] are obtained by arranging virtual objects on the shadowing plane P shadow [j] arranged in the Geodesic Domain, as illustrated. In this state, the shadow image of the virtual object when the shadowing plane Pshadow [j] is irradiated from the basic light source L [i] is set as the basic shadow image Ibasis [j, i], and the virtual image on the shadowing plane Pshadow [j] is set. An image when the shadowing plane Pshadow [j] is irradiated from the basic light source L [i] without the object is set as the basic diffusion image Dbasis [j, i]. In this way, Nj × Ni basic shadow images Ibasis [j, i] and basic diffusion images Dbasis [j, i] are set. In addition, about the thing with the same normal direction among shadowing planes Pshadow [j], since the same diffuse reflection is performed with respect to the basic light source L [i], it is good also as what shares a basic diffused image. In the embodiment, it is assumed that the shaded plane P shadow [j] is Lambert reflection. FIG. 13 shows an example of a part of the basic shadow image Ibasis [j, i] created for the virtual object in FIG.
以上、準備処理について説明した。次に、準備処理により設定した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を用いて行なわれる逐次処理について説明する。逐次処理では、前述したように、複数の明るさ情報取得装置２２の各々によりその明るさ情報取得装置２２が配置された位置（取得位置）における明るさ情報として複数の取得位置の各々における全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置４０により現実仮想合成画像を作成して表示装置５６に表示する。以下、取得位置明るさパラメータ設定装置３４による処理、補間位置明るさパラメータ設定装置３６による処理、合成画像作成装置４０による処理の順に説明する。なお、実施例では、取得位置ｋ（ｋは取得位置の各々に対応する番号で１〜Ｎｋ、但しＮｋは取得位置の数即ち明るさ情報取得装置２２の数）や補間位置ｑ（ｑは補間位置の各々に対応する番号でＮｋ＋１〜Ｎｑ、但し、Ｎｑは取得位置の数と補間位置の数との和）における明るさパラメータとして、基礎光源Ｌ［ｉ］の各々に対応する領域ｉの明るさを反映するパラメータである明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を用いるものとした。 The preparation process has been described above. Next, sequential processing performed using the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] set by the preparation process will be described. In the sequential processing, as described above, the omnidirectional information at each of the plurality of acquisition positions as the brightness information at the position (acquisition position) where the brightness information acquisition device 22 is arranged by each of the plurality of brightness information acquisition devices 22. An image is acquired, the acquired position / brightness parameter setting device 36 or the interpolation position / brightness parameter setting device 36 is used to set the brightness parameter at the acquisition position / interpolation position, and the acquired acquisition position / interpolation is set. A real virtual composite image is created by the composite image creation device 40 using the brightness parameter at the position and displayed on the display device 56. Hereinafter, processing by the acquisition position / brightness parameter setting device 34, processing by the interpolation position / brightness parameter setting device 36, and processing by the composite image creation device 40 will be described in this order. In the embodiment, the acquisition position k (k is a number corresponding to each of the acquisition positions, 1 to Nk, where Nk is the number of acquisition positions, that is, the number of brightness information acquisition devices 22) and the interpolation position q (q is an interpolation). The number corresponding to each of the positions, Nk + 1 to Nq, where Nq is the sum of the number of acquisition positions and the number of interpolation positions), and the brightness of the region i corresponding to each of the basic light sources L [i] The brightness parameters S [k, i] and S [q, i], which are parameters reflecting the brightness, are used.
図１４は、取得位置明るさパラメータ設定装置３４により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。取得位置明るさパラメータ設定処理ルーチンでは、取得位置明るさパラメータ設定装置３４は、明るさ情報取得装置２２から取得位置ｋにおける全方位画像Ｇ［ｋ］（図５参照）を入力し（ステップＳ２００）、入力した取得位置ｋにおける全方位画像Ｇ［ｋ］を用いて取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定し（ステップＳ２１０）、設定した取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］をネットワーク３２に出力して（ステップＳ２２０）、本ルーチンを終了する。取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定する様子の一例を図１５に示す。取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］は、実施例では、全方位画像Ｇ［ｋ］にＧｅｏｄｅｓｉｃ Ｄｏｍｅを投影して全方位画像Ｇ［ｋ］を各々の基礎光源Ｌ［ｉ］に対応するＮｉ個の三角形領域に分割し、分割した三角形領域ｉ（ｉは基礎光源Ｌ［ｉ］に対応する番号）のそれぞれについて、次式（１）により、各画素ｐ（ｐは三角形領域ｉ内の各画素に対応する番号で１〜Ｎｐ、但し、Ｎｐは画素数）の画素値（暗いほど小さく明るいほど大きい値）Ｖ［ｋ，ｉ，ｐ］（例えば、０〜２５５）の和を各画素ｐの画素値Ｖ［ｋ，ｉ，ｐ］の最大値Ｖｍａｘ［ｋ，ｉ，ｐ］（例えば、２５５）の和で除して０．０〜１．０の範囲内に正規化する、ことにより設定するものとした。このように複数の取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定することにより、現実空間の建造物や樹木，地形などが仮想物体の一部の光源環境（明るさの環境）や複数の仮想物体のそれぞれの位置の光源環境に影響を与えると考えられるときでも、より現実の光源環境を反映して取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定することができる。 FIG. 14 is a flowchart illustrating an example of an acquisition position brightness parameter setting processing routine executed by the acquisition position brightness parameter setting device 34. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the acquisition position brightness parameter setting processing routine, the acquisition position brightness parameter setting device 34 inputs the omnidirectional image G [k] (see FIG. 5) at the acquisition position k from the brightness information acquisition device 22 (step S200). The brightness parameter S [k, i] at the acquisition position k is set using the omnidirectional image G [k] at the input acquisition position k (step S210), and the brightness parameter S [k at the set acquisition position k is set. , I] are output to the network 32 (step S220), and this routine is terminated. An example of setting the brightness parameter S [k, i] at the acquisition position k is shown in FIG. In the embodiment, the brightness parameter S [k, i] at the acquisition position k is projected onto the omnidirectional image G [k] and the omnidirectional image G [k] to each basic light source L [i]. For each of the divided triangular regions i (i is a number corresponding to the basic light source L [i]), each pixel p (p is the triangular region i) is expressed by the following equation (1). 1 to Np, where Np is the number of pixels, and the sum of pixel values V [k, i, p] (for example, 0 to 255). The pixel value V [k, i, p] of each pixel p is normalized within the range of 0.0 to 1.0 by dividing by the sum of the maximum values Vmax [k, i, p] (for example, 255). , To be set by. By setting the brightness parameter S [k, i] at a plurality of acquisition positions k in this way, a building, a tree, a terrain, etc. in the real space are part of the light source environment (brightness environment) of the virtual object, Even when it is considered that the light source environment at each position of the plurality of virtual objects is affected, the brightness parameter S [k, i] at the acquisition position k can be set reflecting the more actual light source environment.
次に、補間位置明るさパラメータ設定装置３６による処理について説明する。図１６は、補間位置明るさパラメータ設定装置３６により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。補間位置明るさパラメータ設定処理ルーチンでは、補間位置明るさパラメータ設定装置３６は、取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］（ｋは１〜Ｎｋ、ｉは１〜Ｎｉ）をネットワーク３２から入力し（ステップＳ３００）、入力した取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を用いて補間位置ｑ（ｑはＮｋ＋１〜Ｎｑ）における明るさパラメータＳ［ｑ，ｉ］を設定し（ステップＳ３１０）、設定した補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］をネットワーク３２に出力して（ステップＳ３２０）、本ルーチンを終了する。ここで、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］は、実施例では、Ｎｋ個（Ｎｋ≧２）の取得位置ｋ（１〜Ｎｋ）からＮｋｓｅｌ個の取得位置（以下、選択取得位置という）ｋｓｅｌ（１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）を任意に選択し、選択した選択取得位置ｋｓｅｌにおける明るさパラメータＳ［ｋｓｅｌ，ｉ］と、選択取得位置ｋｓｅｌと補間位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、距離ｔ［ｑ，ｉ］（ｔ［ｑ，ｉ］≧０）と、を用いて次式（２）により計算するものとした。３つの選択取得位置１〜３における明るさパラメータＳ［ｋｓｅｌ，ｉ］（ｋｓｅｌは１〜３）を用いて補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する方法の考え方を図１７および図１８に示す。式（２）は、取得位置ｋと補間位置ｑとの距離ａ［ｑ，ｋ］に反比例する傾向で補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］が取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］から影響を受けると考えられるという理由と（図１７参照）、補間位置ｑが山影や建物の陰，これらの近傍にある場合などに補間位置ｑから見て基礎光源Ｌ［ｉ］に対応する方向の障害物（例えば、建物や樹木，地形など）と補間位置ｑとの距離ｔ［ｑ，ｉ］に反比例する傾向で補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］が障害物から影響を受けると考えられるという理由と（図１８参照）、から定めたものである。このようにして明るさパラメータＳ［ｑ，ｉ］が設定される補間位置ｑの一例を図１９に示す。図中、実線丸印は取得位置ｋを示し、点線三角印は補間位置ｑを示す。仮想物体とその影とを合成した仮想合成画像を表示するためには、表示する位置における明るさパラメータを設定する必要がある。しかしながら、広い現実空間で複合現実感表現システム２０を用いる場合にその現実空間全体に明るさ情報取得装置２２を配置することや、仮想物体を移動させる場合に仮想物体の移動に応じて明るさ情報取得装置２２を移動させることは困難である。これに対して、実施例では、この補間位置明るさパラメータ設定処理ルーチンを実行することにより、明るさ情報取得装置２２の配置位置（取得位置）以外の位置（補間位置）における明るさパラメータＳ［ｑ，ｉ］を設定することができる。しかも、建物や樹木，地形などの障害物による影響を考慮して補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定することにより、より現実の光源環境を反映して補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定することができる。なお、補間位置ｑは、例えば、仮想物体の位置や大きさ，形状などに基づいて定めるものとしたり、現実空間の地形や建物の構造，配置などに基づいて定めるものとしたり、これらに拘わらず予め定められた補間位置ｑ間の間隔や取得位置ｋに対する距離などに基づいて定めるものとしたりすることができる。実施例では、仮想物体の配置予定位置が取得位置ｋ以外のときには、補間位置ｑに、その仮想物体の配置予定位置またはその近傍を含めるものとした。 Next, processing by the interpolation position / brightness parameter setting device 36 will be described. FIG. 16 is a flowchart showing an example of an interpolation position / brightness parameter setting processing routine executed by the interpolation position / brightness parameter setting device 36. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the interpolation position / brightness parameter setting processing routine, the interpolation position / brightness parameter setting device 36 sends the brightness parameter S [k, i] (k is 1 to Nk, i is 1 to Ni) from the network 32 at the acquisition position k. Then, the brightness parameter S [q, i] at the interpolation position q (q is Nk + 1 to Nq) is set using the brightness parameter S [k, i] at the acquired acquisition position k (step S300) (step S300). (S310), the brightness parameter S [q, i] at the set interpolation position q is output to the network 32 (step S320), and this routine is terminated. Here, in the embodiment, the brightness parameter S [q, i] at the interpolation position q is determined from Nk (Nk ≧ 2) acquisition positions k (1 to Nk) to Nksel acquisition positions (hereinafter, selected acquisition positions). Ksel (1 to Nksel, where 2 ≦ Nksel ≦ Nk) is arbitrarily selected, and the brightness parameter S [ksel, i] at the selected selection acquisition position ksel and the distance between the selection acquisition position ksel and the interpolation position q It is assumed that calculation is performed by the following equation (2) using a [q, ksel] and the distance t [q, i] (t [q, i] ≧ 0). The concept of the method of setting the brightness parameter S [q, i] at the interpolation position q using the brightness parameter S [ksel, i] (ksel is 1 to 3) at the three selection acquisition positions 1 to 3 is shown in FIG. And shown in FIG. Equation (2) shows that the brightness parameter S [q, i] at the interpolation position q is in the inverse proportion to the distance a [q, k] between the acquisition position k and the interpolation position q. k, i] (see FIG. 17) and the basic light source L [i] when viewed from the interpolation position q when the interpolation position q is in the shadow of a mountain, the shadow of a building, or the vicinity thereof. The brightness parameter S [q, i] at the interpolation position q has a tendency to be inversely proportional to the distance t [q, i] between the obstacle (for example, a building, a tree, a terrain, etc.) in the direction corresponding to This is determined from the reason that it is considered to be influenced by an object (see FIG. 18). An example of the interpolation position q where the brightness parameter S [q, i] is set in this way is shown in FIG. In the figure, a solid line circle mark indicates the acquisition position k, and a dotted line triangle mark indicates the interpolation position q. In order to display a virtual composite image in which a virtual object and its shadow are combined, it is necessary to set a brightness parameter at the display position. However, when the mixed reality expression system 20 is used in a wide real space, the brightness information acquisition device 22 is arranged in the entire real space, or when the virtual object is moved, the brightness information according to the movement of the virtual object. It is difficult to move the acquisition device 22. On the other hand, in this embodiment, by executing this interpolation position brightness parameter setting processing routine, the brightness parameter S [[interpolation position] other than the arrangement position (acquisition position) of the brightness information acquisition device 22 is obtained. q, i] can be set. In addition, by setting the brightness parameter S [q, i] at the interpolation position q in consideration of the influence of obstacles such as buildings, trees, and terrain, the brightness at the interpolation position q reflects the actual light source environment. Parameter S [q, i] can be set. Note that the interpolation position q is determined based on, for example, the position, size, and shape of the virtual object, or determined based on the topography of the real space, the structure of the building, the arrangement, and the like. It may be determined based on a predetermined interval between the interpolation positions q, a distance to the acquisition position k, or the like. In the embodiment, when the planned placement position of the virtual object is other than the acquisition position k, the interpolation position q includes the planned placement position of the virtual object or its vicinity.
次に、合成画像作成装置４０による処理について説明する。図２０は、現実仮想合成画像作成ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。現実仮想合成画像作成ルーチンでは、合成画像作成装置４０は、まず、ネットワーク３２から取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を入力すると共にデータベースサーバ３８からネットワーク３２を介して影付け平面Ｐｓｈａｄｏｗ［ｊ］や基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］（ｊは１〜Ｎｊ、ｉは１〜Ｎｉ），基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を入力する（ステップＳ４００）。 Next, processing by the composite image creation device 40 will be described. FIG. 20 is a flowchart illustrating an example of a real virtual composite image creation routine. This routine is repeatedly executed every predetermined time (for example, several milliseconds or several tens of milliseconds). In the real virtual composite image creation routine, the composite image creation apparatus 40 first inputs the brightness parameters S [k, i] and S [q, i] at the acquisition position k and the interpolation position q from the network 32, and the database server. 38, the shadowing plane P shadow [j], the basic shadow image Ibasis [j, i] (j is 1 to Nj, i is 1 to Ni), and the basic diffusion image Dbasis [j, i] are input via the network 32. (Step S400).
続いて、仮想物体のシェーディング（仮想物体表面の法線，反射特性，光源分布による仮想物体表面の明るさの濃淡を表現する処理）や影の作成に用いる位置を取得位置ｋ（ｋは１〜Ｎｋ）や補間位置ｑ（ｑはＮｋ＋１〜Ｎｑ）から選択して処理用位置として設定する（ステップＳ４１０）。この処理用位置は、実施例では、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を設定するものとした。ここで、取得位置ｋや補間位置ｑのうち所定範囲内に複数の位置があるときには、例えば、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置のうちの基準点（例えば、仮想物体の中心）に最も近い位置を処理用位置として設定するものとすることができる。また、所定範囲は、例えば、仮想物体の配置予定位置に対して光源環境（明るさの環境）が略等しいと想定可能な範囲であるものとすることができる。なお、前述の図１や図２に例示したように、仮想物体が複数ある場合には、一つの仮想物体に対して一つの処理用位置を設定すればよい。以下、説明の都合上、取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］のうち処理用位置における明るさパラメータをＳｓ［ｉ］と表わす。 Subsequently, the position used for the shading of the virtual object (processing for expressing the normality of the virtual object surface, reflection characteristics, and brightness of the virtual object surface by the light source distribution) and the creation of the shadow is obtained as an acquisition position k (k is 1 to k). Nk) and interpolation position q (q is Nk + 1 to Nq) and set as a processing position (step S410). In this embodiment, the processing position is set to one position within a predetermined range from the planned placement position of the virtual object among the acquisition position k and the interpolation position q. Here, when there are a plurality of positions within a predetermined range among the acquisition position k and the interpolation position q, for example, a reference point (for example, a virtual object) of the planned placement positions of the virtual object among the acquisition position k and the interpolation position q. It is possible to set the position closest to the center) as the processing position. The predetermined range may be a range that can be assumed that the light source environment (brightness environment) is substantially equal to the planned placement position of the virtual object, for example. As illustrated in FIG. 1 and FIG. 2 described above, when there are a plurality of virtual objects, one processing position may be set for one virtual object. Hereinafter, for convenience of explanation, the brightness parameter at the processing position among the brightness parameters S [k, i] and S [q, i] at the acquisition position k and the interpolation position q is represented as Ss [i].
こうして処理用位置を設定すると、その処理用位置における明るさパラメータＳｓ［ｉ］を用いて、処理用位置における仮想的な光源である仮想光源Ｌｖ［ｎ］（ｎは仮想光源の各々に対応する番号で１〜Ｎｎ、但しＮｎは仮想光源の数）の強度ＬＩ［ｎ］を設定する（ステップＳ４２０）。ここで、処理用位置における仮想光源Ｌｖ［ｎ］は、処理用位置におけるＧｅｏｄｅｓｉｃ Ｄｏｍｅ上の基礎光源Ｌ［ｉ］を基礎光源Ｌ［ｉ］の数Ｎｉより少ない数（例えば、８や１６など）に集約したものである。Ｇｅｏｄｅｓｉｃ Ｄｏｍｅに配置される仮想光源Ｌｖ［ｎ］の一例を図２１に示す。また、仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］は、処理用位置における明るさパラメータＳｓ［ｉ］を仮想光源Ｌｖ［ｎ］に対して反映させることにより設定することができ、実施例では、仮想光源Ｌｖ［ｎ］の数Ｎｎが明るさパラメータＳｓ［ｉ］の数Ｎｉに比して少ないため、仮想光源Ｌｖ［ｎ］近傍の明るさパラメータＳｓ［ｉ］の平均として仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を設定するものとした。こうした処理により、現実空間の光源環境（明るさの環境、実施例では、処理用位置における明るさパラメータＳｓ［ｉ］）を処理用位置における仮想光源Ｌｖ［ｎ］によって近似的に表現することができる。 When the processing position is set in this way, the virtual light source Lv [n] (n corresponds to each of the virtual light sources) that is a virtual light source at the processing position using the brightness parameter Ss [i] at the processing position. Intensities LI [n] of 1 to Nn, where Nn is the number of virtual light sources) are set (step S420). Here, the virtual light source Lv [n] at the processing position is smaller in number (for example, 8 or 16) than the number Ni of the basic light sources L [i] of the basic light sources L [i] on the Geodesic Dome at the processing position. Are summarized in An example of the virtual light source Lv [n] arranged in the Geodesic Domain is shown in FIG. The intensity LI [n] of the virtual light source Lv [n] can be set by reflecting the brightness parameter Ss [i] at the processing position on the virtual light source Lv [n]. Since the number Nn of the virtual light sources Lv [n] is smaller than the number Ni of the brightness parameters Ss [i], the virtual light source Lv [n] is an average of the brightness parameters Ss [i] in the vicinity of the virtual light source Lv [n]. The intensity LI [n] of n] is set. Through such processing, the light source environment in the real space (brightness environment, in the embodiment, the brightness parameter Ss [i] at the processing position) can be approximately expressed by the virtual light source Lv [n] at the processing position. it can.
続いて、設定した処理用位置における仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を用いて仮想物体のシェーディングを行なう（ステップＳ４３０）。ここで、仮想物体のシェーディングは、例えば、仮想光源Ｌｖ［ｎ］を平行光源（無限遠の光源）として、仮想物体を直接照射する直接光や他の物体（現実世界の物体である現実物体および仮想物体）表面から反射する間接光を計算して写実的な陰影を作成する、ことにより行なうことができる。なお、このシェーディングの方法としては、例えば、鏡面反射を表現する「フォンのモデル」や、金属の表現に適した「ブリンのモデル」，「クック・トランスのモデル」，磨いた金属や布を表面する「異方性反射モデル」などが考えられている（引用文献Ｃ参照）。
文献Ｃ：技術編CG標準テキストブック編集委員会, “技術編CG標準テキストブック”, 財団法人画像情報教育振興協会（CG-ARTS協会）, 第一版六刷, March, 2003.
Subsequently, the virtual object is shaded using the intensity LI [n] of the virtual light source Lv [n] at the set processing position (step S430). Here, the shading of the virtual object is performed, for example, by using the virtual light source Lv [n] as a parallel light source (a light source at infinity) and direct light directly irradiating the virtual object or another object (a real object that is an object in the real world and Virtual object) by calculating indirect light reflected from the surface and creating a realistic shadow. Note that this shading method includes, for example, a “phone model” that expresses specular reflection, a “brin model” that is suitable for metal expression, a “cook transformer model”, and a polished metal or cloth surface. An “anisotropic reflection model” is considered (see cited document C).
Reference C: Technical CG Standard Textbook Editorial Committee, “Technical CG Standard Textbook”, Japan Society for the Promotion of Image Information Education (CG-ARTS Association), First Edition, 6th Edition, March, 2003.
次に、処理用位置における明るさパラメータＳｓ［ｉ］と影付け平面Ｐｓｈａｄｏｗ［ｊ］における基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］とを用いて、影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和の画像（以下、線形和画像という）Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を作成する（ステップＳ４４０）。ここで、線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］の作成は、実施例では、処理用位置における明るさパラメータＳｓ［ｉ］と基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］とを用いて次式（３）により影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｉｓｕｍ［ｊ］を演算し、処理用位置における明るさパラメータＳｓ［ｉ］と基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］とを用いて次式（４）により影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｄｓｕｍ［ｊ］を演算する、ことにより行なうものとした。線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を演算する様子の一例を図２２に示す。 Next, using the brightness parameter Ss [i] at the processing position, the basic shadow image Ibasis [j, i] and the basic diffusion image Dbasis [j, i] in the shadowing plane Pshadow [j], the shadowing plane Linear sum images (hereinafter referred to as linear sum images) Isum [j] and Dsum [j] for Pshadow [j] are created (step S440). Here, in the embodiment, the linear sum images Isum [j] and Dsum [j] are created using the brightness parameter Ss [i] at the processing position and the basic shadow image Ibasis [j, i] according to the following formula. The linear sum image Isum [j] for the shadowing plane Pshadow [j] is calculated by (3), and the brightness parameter Ss [i] at the processing position and the basic diffusion image Dbasis [j, i] are used to calculate The calculation is performed by calculating the linear sum image Dsum [j] for the shadow plane Pshadow [j] according to Expression (4). An example of how the linear sum images Isum [j] and Dsum [j] are calculated is shown in FIG.
こうして影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を設定すると、設定した線形和画像Ｉｓｕｍ［ｊ］と線形和画像Ｄｓｕｍ［ｊ］とを用いて、影付け平面Ｐｓｈａｄｏｗ［ｊ］についての仮想物体の影の強度である明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を作成する（ステップＳ４５０）。ここで、現実物体および仮想物体の表面上のある点における放射照度Ｅとこのある点が影付け平面Ｐｓｈａｄｏｗ［ｊ］によって影付けされた後の放射照度Ｅ’との関係は、次式（５）により表わされることが解っている（文献Ｄ参照）。実施例では、このことを考慮して、線形和画像Ｉｓｕｍ［ｊ］と線形和画像Ｄｓｕｍ［ｊ］とを用いて式（６）により明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を作成するものとした。こうして計算される明るさ比画像Ｉｓｈａｄｏｗ［ｊ］のうち値１となる画素は本影（仮想物体により完全に遮られた影）となる部分を示し、値０となる画素は全く影の落ちない部分を示す。明るさ比画像Ｉｓｈａｄｏｗ［ｊ］の一例を図２３に示す。
文献Ｄ：I. Sato, Y. Sato, and K. Ikeuchi：“Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. on Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
When the linear sum images Isum [j] and Dsum [j] for the shadow plane Pshadow [j] are set in this way, shadowing is performed using the set linear sum image Isum [j] and the linear sum image Dsum [j]. A brightness ratio image Ishadow [j] that is the intensity of the shadow of the virtual object for the plane Pshashadow [j] is created (step S450). Here, the relationship between the irradiance E at a certain point on the surface of the real object and the virtual object and the irradiance E ′ after the certain point is shaded by the shaded plane Pshado [j] is expressed by the following equation (5). ) (See Document D). In the embodiment, in consideration of this, the brightness ratio image Ishadow [j] is created by Expression (6) using the linear sum image Isum [j] and the linear sum image Dsum [j]. In the brightness ratio image Ishadow [j] calculated in this way, a pixel having a value of 1 indicates a portion that becomes a main shadow (a shadow completely blocked by a virtual object), and a pixel having a value of 0 has no shadow at all. Indicates the part. An example of the brightness ratio image Ishadow [j] is shown in FIG.
Reference D: I. Sato, Y. Sato, and K. Ikeuchi: “Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. On Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
続いて、作成した明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を対応する影付け平面Ｐｓｈａｄｏｗ［ｊ］にマッピングすることにより、現実物体および仮想物体の表面上における影を表現するための影平面Ｆ［ｊ］を作成する（ステップＳ４６０）。影平面Ｆ［ｊ］を作成する様子の一例を図２４に示す。影平面Ｆ［ｊ］の作成は、例えば、影付け平面Ｐｓｈａｄｏｗ［ｊ］を反射率が値０の物体として、画像の色情報RGB（赤緑青）と透過度（透明度）の情報（いわゆるアルファ値、透明（値０）〜不透明（値１）を示す情報）とを用いて明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を対応する影付け平面Ｐｓｈａｄｏｗ［ｊ］にマッピングする、ことにより行なうことができる（文献Ｅ参照）。実施例では、この透過度の情報として明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を用いて影平面Ｆ［ｊ］を作成するものとした。これにより、影平面Ｆ［ｊ］は、不透明に近い部分では濃くなり、透明に近い部分では薄くなる。
文献Ｅ：OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGLプログラミングガイド 第2版”, ピアソン・エデュケーション, July, 2003.
Subsequently, by mapping the created brightness ratio image Ishadow [j] to the corresponding shadowing plane Pshadow [j], a shadowing plane F [j] for expressing a shadow on the surface of the real object and the virtual object Is created (step S460). An example of the creation of the shadow plane F [j] is shown in FIG. The shadow plane F [j] is created by, for example, using the shadow plane P shadow [j] as an object having a reflectance of 0, color information RGB (red green blue) and transparency (transparency) information (so-called alpha value). , Information indicating transparency (value 0) to opacity (value 1)), and mapping the brightness ratio image Ishadow [j] to the corresponding shadowing plane Pshadow [j] (references) E). In the embodiment, the shadow plane F [j] is created by using the brightness ratio image Ishadow [j] as the information on the transparency. As a result, the shadow plane F [j] becomes darker in a portion close to opacity and becomes thinner in a portion close to transparency.
Reference E: OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGL Programming Guide 2nd Edition”, Pearson Education, July, 2003.
次に、撮影装置５２から現実画像を入力すると共に位置姿勢取得装置５４からユーザの位置や姿勢を入力し（ステップＳ４７０）、入力した現実画像と仮想物体と影平面Ｆ［ｊ］とを合成した現実仮想合成画像を作成し（ステップＳ４８０）、表示装置５６に表示させて（ステップＳ４９０）、本ルーチンを終了する。ここで、現実仮想合成画像の作成は、現実画像を背景に設置した状態で、ユーザの位置や姿勢に応じた位置に仮想物体および影平面Ｆ［ｊ］とを描画する、ことにより行なうものとした。仮想物体および影平面Ｆ［ｊ］の描画は、具体的には、明るさ比画像Ｉｓｈａｄｏｗ［ｊ］によって透過度（透明度）が定められた影平面Ｆ［ｊ］により現実画像を減衰させて現実空間の地面などに落ちる仮想物体の影（キャストシャドウ）を表現すると共に、影平面Ｆ［ｊ］を用いて仮想物体自体の影（セルフシャドウ）を表現する、ことにより行なうことができる。このようにして表示装置５６に表示される現実仮想合成画像の一例を図２５に示す。 Next, a real image is input from the photographing device 52 and a user's position and posture are input from the position / orientation acquisition device 54 (step S470), and the input real image, virtual object, and shadow plane F [j] are synthesized. A real virtual composite image is created (step S480), displayed on the display device 56 (step S490), and this routine ends. Here, the creation of the real virtual composite image is performed by drawing the virtual object and the shadow plane F [j] at a position corresponding to the position and posture of the user with the real image placed in the background. did. The drawing of the virtual object and the shadow plane F [j] is specifically performed by attenuating the real image with the shadow plane F [j] whose transparency (transparency) is determined by the brightness ratio image Ishadow [j]. This can be performed by expressing a shadow (cast shadow) of a virtual object falling on the ground in the space and expressing a shadow (self-shadow) of the virtual object itself using the shadow plane F [j]. An example of the real virtual composite image displayed on the display device 56 in this way is shown in FIG.
以上説明した実施例の複合現実感表現システム２０によれば、明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を設定した複数の位置（取得位置ｋおよび補間位置ｑ）のうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置としてその処理用位置における明るさパラメータＳ［ｉ］を用いて仮想物体の影を作成するから、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。しかも、実施例の複合現実感表現システム２０によれば、取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］に加えて、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］も考慮して仮想物体の影を作成するから、仮想物体の影をより適正に設定することができる。さらに、こうして作成した仮想物体の影と仮想物体と現実画像とを合成して現実仮想合成画像を作成するから、現実仮想合成画像をより適正に作成することができる。 According to the mixed reality expression system 20 of the embodiment described above, a virtual one of a plurality of positions (acquisition position k and interpolation position q) in which brightness parameters S [k, i] and S [q, i] are set. Since the shadow of the virtual object is created using the brightness parameter S [i] at the processing position as one processing position within the predetermined range from the planned placement position of the object, the light source environment in the real space is more appropriate. Since the shadow of the virtual object can be created using the brightness parameter reflected on the virtual object, the shadow of the virtual object can be created more appropriately. In addition, according to the mixed reality expression system 20 of the embodiment, in addition to the brightness parameter S [k, i] at the acquisition position k, the brightness parameter S [q, i] at the interpolation position q is also taken into consideration. Since the shadow of the object is created, the shadow of the virtual object can be set more appropriately. Furthermore, since the virtual virtual object image is created by synthesizing the shadow of the virtual object thus created, the virtual object, and the real image, the real virtual composite image can be created more appropriately.
また、実施例の複合現実感表現システム２０によれば、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６が取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク３２に出力すると共に合成画像作成装置４０がネットワーク３２から取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を取得して現実仮想合成画像を作成する、即ち、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６から合成画像作成装置４０に明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク配信するから、前述の逐次処理の段階でも、合成画像作成装置４０やＨＭＤ５０（撮影装置５２，位置姿勢取得装置５４，表示装置５６）の増減を行なうことができる。 Further, according to the mixed reality expression system 20 of the embodiment, the acquisition position brightness parameter setting device 34 and the interpolation position brightness parameter setting device 36 have the brightness parameters S [k, i] at the acquisition position k and the interpolation position q. , S [q, i] are output to the network 32, and the composite image creation device 40 acquires brightness parameters S [k, i], S [q, i] at the acquisition position k and the interpolation position q from the network 32. Thus, a virtual virtual composite image is created, that is, brightness parameters S [k, i], S [q, i from the acquired position / brightness parameter setting device 34 or the interpolation position / brightness parameter setting device 36 to the composite image creation device 40. ] Is distributed over the network, so that the composite image creation device 40 and the HMD 50 (the photographing device 52, the position / orientation acquisition device 54, the display device 5) can be used even at the above-described sequential processing stage. An increase or decrease in) can be carried out.
実施例の複合現実感表現システム２０では、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定する、即ち、一つの仮想物体に対して一つの処理用位置を設定するものとしたが、一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。図２６は、仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。図示するように、仮想物体の配置予定位置の周囲に建造物や樹木，山などの障害物（現実物体）が局所的に存在する場合には、仮想物体のうちその障害物に近い部分にだけ障害物の影が落ちることが想定される。このような場合、仮想物体の中心位置に最も近い位置など一つの位置における明るさパラメータだけを用いて仮想物体のシェーディングや影の作成を行なうと、障害物の局所的な影響を適正に反映することができない。したがって、このことを考慮して、建造物や樹木，地形などが仮想物体の一部にだけ影響を与える（仮想物体の各部分についての光源環境が一定でない）と想定される一部影響想定状態であるか否かを判定し、一部影響想定状態でないときには実施例と同様に取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定し、一部影響想定状態であるときには仮想物体を分割して得られる各部分についてそれぞれ取得位置ｋや補間位置ｑのうち各部分の配置予定位置を含む部分範囲内の一つの位置を処理用位置として設定するものとしてもよい。ここで、一部影響想定状態であるか否かの判定は、例えば、現実空間の状況（建物や樹木の位置，地形など）や仮想物体の状況（配置予定位置や大きさ，形状）などに基づいて判定することができる。また、部分範囲は、例えば、仮想物体のうち対応する部分の配置予定位置に対して光源環境（明るさの環境）が略等しいと想定可能な範囲であるものとすることができる。このように一部影響想定状態であるか否かに応じて処理用位置を設定することにより、仮想物体のシェーディングや影の作成を行なう際に、前者の場合即ち一部影響想定状態でないときには簡易に処理を行なうことができ、後者の場合即ち一部影響想定状態であるときには局所的な障害物の影響をより適正に反映して処理を行なうことができる。なお、仮想物体が複数あるときには、一部影響想定状態でない仮想物体についてはその仮想物体に対する処理用位置として取得位置ｋや補間位置ｑのうちの一つを設定し、一部影響想定状態である仮想物体についてはその仮想物体の各部分に対する処理用位置として取得位置ｋや補間位置ｑのうちの一つを設定すればよい。そして、こうして設定した処理用位置を用いて仮想物体のシェーディングや影の作成を行なう場合、一部影響想定状態でないとき（一つの仮想物体に対して一つの処理用位置を設定するとき）には実施例と同様に行ない、一部影響想定状態であるときには、仮想物体の各部分についてのそれぞれの処理用位置における仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を用いたシェーディングによって仮想物体全体のシェーディングを行なうと共に仮想物体の各部分についてのそれぞれの処理用位置における明るさパラメータＳｓ［ｉ］を用いた線形和画像の作成によって仮想物体全体に対応する線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を作成して影平面Ｆ［ｊ］を作成するものとしてもよい。この変形例では、任意の一つの仮想物体に対して、一部影響想定状態でないときにはその一つの仮想物体に対して一つの処理用位置を設定し、一部影響想定状態であるときにはその一つの仮想物体に対して複数の処理用位置を設定するものとして説明したが、一部想定状態であるか否かに拘わらず、その一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, one position within a predetermined range from the planned placement position of the virtual object among the acquisition position k and the interpolation position q is set as a processing position, that is, for one virtual object. One processing position is set, but a plurality of processing positions may be set for one virtual object. FIG. 26 is an explanatory diagram illustrating an example of the state of the light source environment at the planned placement position of the virtual object. As shown in the figure, when there are local obstacles (real objects) such as buildings, trees, and mountains around the virtual object placement planned position, only the part of the virtual object close to the obstacle It is assumed that the shadow of the obstacle will fall. In such a case, shading or creating a shadow of a virtual object using only the brightness parameter at one position, such as the position closest to the center position of the virtual object, properly reflects the local influence of the obstacle. I can't. Therefore, in consideration of this, a partial impact assumption state where it is assumed that buildings, trees, terrain, etc. affect only a part of the virtual object (the light source environment for each part of the virtual object is not constant) When the partial influence is not assumed, one position within a predetermined range from the planned placement position of the virtual object is set as the processing position among the acquisition position k and the interpolation position q as in the embodiment. When the partial influence is assumed, for each part obtained by dividing the virtual object, one position within the partial range including the planned placement position of each part of the acquisition position k and the interpolation position q is set as the processing position. It may be set as Here, the determination of whether or not the partial influence is assumed is based on, for example, the situation in the real space (the position of the building or tree, the terrain, etc.) or the situation of the virtual object (the planned placement position, size, shape, etc.). It can be determined based on. In addition, the partial range can be assumed to be a range in which the light source environment (brightness environment) can be assumed to be substantially equal to the planned arrangement position of the corresponding portion of the virtual object, for example. Thus, by setting the processing position according to whether or not the partial influence is assumed, it is easy to perform shading or shadow creation of the virtual object in the former case, that is, when the partial influence is not assumed. In the latter case, that is, in the case where a partial influence is assumed, it is possible to more appropriately reflect the influence of a local obstacle. When there are a plurality of virtual objects, one of the acquisition position k and the interpolation position q is set as a processing position for the virtual object that is not in a partially affected state, and is in a partially affected state. For the virtual object, one of the acquisition position k and the interpolation position q may be set as a processing position for each part of the virtual object. When the virtual object is shaded or a shadow is created using the processing position set in this way, when the partial influence is not assumed (when one processing position is set for one virtual object) When the partial influence assumption state is performed in the same manner as in the embodiment, the entire virtual object is subjected to shading using the intensity LI [n] of the virtual light source Lv [n] at each processing position for each part of the virtual object. Linear sum images Isum [j] and Dsum [j corresponding to the entire virtual object are generated by performing linear shading and creating a linear sum image using the brightness parameter Ss [i] at each processing position for each part of the virtual object. ] To create the shadow plane F [j]. In this modified example, for a single virtual object, when a partial influence is not assumed, one processing position is set for the one virtual object. Although it has been described that a plurality of processing positions are set for a virtual object, it is assumed that a plurality of processing positions are set for the one virtual object regardless of whether it is partially assumed or not. Also good.
実施例の複合現実感表現システム２０では、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する際に、補間位置ｑから基礎光源Ｌ［ｉ］に対応する領域方向の障害物と補間位置ｑとの距離ｔ［ｑ，ｉ］を考慮して前述の式（２）により補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしたが、距離ｔ［ｑ，ｉ］を考慮せずに、次式（７）により補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, when setting the brightness parameter S [q, i] at the interpolation position q, the obstacle and the interpolation in the region direction corresponding to the basic light source L [i] from the interpolation position q are interpolated. The brightness parameter S [q, i] at the interpolation position q is set by the above-described equation (2) in consideration of the distance t [q, i] with respect to the position q, but the distance t [q, i] The brightness parameter S [q, i] at the interpolation position q may be set by the following equation (7) without considering the above.
実施例の複合現実感表現システム２０では、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する際に、Ｎｋ個の取得位置ｋ（１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）における明るさパラメータＳ［ｋｓｅｌ，ｉ］を用いて設定するものとしたが、Ｎｋｓｅｌ個の選択取得位置ｋｓｅｌにおける全方位画像Ｇ［ｋｓｅｌ］を用いて次式（８）により補間位置ｑにおける全方位画像Ｇ［ｑ］を設定し、設定した補間位置ｑにおける全方位画像Ｇ［ｑ］を用いて、実施例の取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］の設定と同様に、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしてもよい。なお、この場合、補間位置ｑにおける全方位画像Ｇ［ｑ］の各位置の中心に対する座標に応じて、前述の式（２）と同様に補間位置ｑと障害物との距離を考慮して、補間位置ｑにおける全方位画像Ｇ［ｑ］を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, when setting the brightness parameter S [q, i] at the interpolation position q, Nksel selected acquisition positions selected from Nk acquisition positions k (1 to Nk). The brightness parameter S [ksel, i] at ksel (1 to Nksel, where 2 ≦ Nksel ≦ Nk) is set. However, the omnidirectional image G [ksel] at Nksel selected acquisition positions ksel is used. Then, the omnidirectional image G [q] at the interpolation position q is set by the following equation (8), and the brightness parameter S at the acquisition position k of the embodiment is used by using the omnidirectional image G [q] at the set interpolation position q. Similar to the setting of [k, i], the brightness parameter S [q, i] at the interpolation position q may be set. In this case, according to the coordinates with respect to the center of each position of the omnidirectional image G [q] at the interpolation position q, the distance between the interpolation position q and the obstacle is considered in the same manner as in the above equation (2). The omnidirectional image G [q] at the interpolation position q may be set.
実施例の複合現実感表現システム２０では、補間位置明るさパラメータ設定装置３６によって補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしたが、補間位置明るさパラメータ設定装置３６を備えず、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定しないものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness parameter S [q, i] at the interpolation position q is set by the interpolation position brightness parameter setting device 36. The brightness parameter S [q, i] at the interpolation position q may not be set.
実施例の複合現実感表現システム２０では、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成せずに、現実画像と仮想物体と影平面Ｆ［ｊ］とを合成した現実仮想合成画像を作成するものとしたが、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成してからその仮想合成画像と現実画像とを合成した現実仮想合成画像を作成するものとしてもよいし、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成するだけで、現実仮想合成画像を作成しないものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the real image, the virtual object, and the shadow plane F [j] are combined without creating a virtual composite image that combines the virtual object and the shadow plane F [j]. Although a virtual composite image is to be created, a virtual composite image obtained by combining the virtual object and the shadow plane F [j] is generated, and then a real virtual composite image is generated by combining the virtual composite image and the real image. It is also possible to create a virtual composite image obtained by combining the virtual object and the shadow plane F [j], and not to create a real virtual composite image.
実施例の複合現実感表現システム２０では、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６から合成画像作成装置４０に明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク配信するものとしたが、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６，合成画像作成装置４０の間で明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］などのデータを双方向通信するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness parameter S [k, i], S [q, i from the acquired position brightness parameter setting device 34 or the interpolation position brightness parameter setting device 36 to the composite image creating device 40. ] Is distributed over the network, but the brightness parameters S [k, i], S [q,... Are obtained between the acquisition position brightness parameter setting device 34, the interpolation position brightness parameter setting device 36, and the composite image creation device 40. Data such as i] may be bidirectionally communicated.
実施例の複合現実感表現システム２０では、明るさ情報取得装置２２は、図６に例示したように、魚眼レンズ２２ｂを装着したカメラ２２ａを天頂方向に向けて配置して構成するものとしたが、これに限られず、例えば、図２７の変形例の明るさ情報取得装置１２２に例示するように、地表面よりも天頂側の半球上に設けられた複数の領域（例えば、半球をＧｅｏｄｅｓｉｃ Ｄｏｍｅを用いて分割した複数の三角形領域など）のそれぞれの内部や頂点に光センサ（例えば、フォトダイオードやフォトトランジスタなど）１２２ａを配置して構成するものとしてもよい。この場合、全方位画像Ｇ［ｋ］を取得せず、光センサ１２２ａにより検出された値を用いて取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定するものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the brightness information acquisition device 22 is configured by arranging the camera 22a equipped with the fisheye lens 22b facing the zenith direction as illustrated in FIG. For example, as illustrated in the brightness information acquisition device 122 of the modified example of FIG. 27, a plurality of regions (for example, using a Geodesic Domain for the hemisphere) provided on the hemisphere on the zenith side of the ground surface. A plurality of triangular regions divided into two or the like) may be configured by disposing an optical sensor (e.g., a photodiode or a phototransistor) 122a inside or at the apex. In this case, the brightness parameter S [k, i] at the acquisition position k may be set using the value detected by the optical sensor 122a without acquiring the omnidirectional image G [k].
実施例の複合現実感表現システム２０では、取得位置明るさパラメータ設定装置３４と補間位置明るさパラメータ設定装置３６とデータベースサーバ３８と合成画像作成装置４０とがそれぞれネットワーク３２に接続されているものとしたが、これらの一部または全部が一体（一つのコンピュータ）に構成されるものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the acquired position / brightness parameter setting device 34, the interpolation position / brightness parameter setting device 36, the database server 38, and the composite image creation device 40 are connected to the network 32, respectively. However, some or all of these may be integrated (one computer).
実施例の複合現実感表現システム２０では、撮影装置５２，位置姿勢取得装置５４，表示装置５６がＨＭＤ５０として一体に形成されるものとしたが、撮影装置５２，位置姿勢取得装置５４，表示装置５６の一部が一体に形成されるものとしてもよいし、それぞれが独立して形成されるものとしてもよい。 In the mixed reality expression system 20 of the embodiment, the photographing device 52, the position / orientation acquisition device 54, and the display device 56 are integrally formed as the HMD 50. However, the photographing device 52, the position / orientation acquisition device 54, and the display device 56 are integrated. May be formed integrally, or may be formed independently of each other.
実施例の複合現実感表現システム２０では、ＨＭＤ５０を用いるものとしたが、ＨＭＤ５０に代えて、ハンドヘルド型や投影型のディスプレイなどを用いるものとしてもよい。ここで、ハンドヘルド型のディスプレイ（例えば、タブレットＰＣや液晶ディスプレイなど）を用いる場合、例えば、撮影装置５２が装着されたハンドヘルド型ディスプレイをユーザが移動させたり回転させたりすることにより、ディスプレイに現実仮想合成画像を表示させることができる。また、投影型のディスプレイを用いる場合、例えば、現実空間の壁面などの投影可能な物体に、室内設置用や手持ち用，頭部装着用のプロジェクタによって仮想物体およびその影を投影することにより、現実仮想合成画像を表示させることができる。 In the mixed reality expression system 20 of the embodiment, the HMD 50 is used. However, instead of the HMD 50, a handheld display or a projection display may be used. Here, when a handheld display (for example, a tablet PC or a liquid crystal display) is used, for example, the user can move or rotate the handheld display on which the photographing device 52 is mounted, so that the virtual reality is displayed on the display. A composite image can be displayed. When a projection display is used, for example, a virtual object and its shadow are projected onto an object that can be projected, such as a wall in a real space, by a projector for indoor installation, hand-held use, or head-mounted operation. A virtual composite image can be displayed.
実施例の複合現実感表現システム２０では、撮影装置５２により撮影された現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成するいわゆるビデオシースルー方式を用いるものとしたが、透過型ディスプレイを用いて現実空間に仮想物体を重畳して表示する光学シースルー方式を用いるものとしてもよい。なお、光学シースルー方式の場合には、ユーザが見ている現実空間に仮想物体およびその影を合成するため、撮影装置５２が必要なく、より簡易な構成にすることができる。 In the mixed reality expression system 20 of the embodiment, a so-called video see-through method is used in which a real virtual composite image obtained by combining a real image captured by the imaging device 52, a virtual object, and its shadow is used. An optical see-through method may be used in which a virtual object is superimposed and displayed in the real space using a display. In the case of the optical see-through method, since the virtual object and its shadow are synthesized in the real space that the user is looking at, the photographing device 52 is not necessary and a simpler configuration can be achieved.
実施例では、複合現実感表現システム２０として説明したが、複合現実感を表現する方法の形態としたり、現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成する方法の形態としたり、仮想物体とその影とを合成した仮想合成画像を作成する方法の形態としたり、仮想物体の影を作成する方法の形態としたり、これらの方法を１以上のコンピュータに実行させるためのプログラムの形態としたりするものとしてもよい。 In the embodiment, the mixed reality expression system 20 has been described. However, a mixed reality representation method or a real virtual composite image in which a real image, a virtual object, and its shadow are synthesized is used. Or a form of a method for creating a virtual composite image in which a virtual object and its shadow are synthesized, a form of a method for creating a shadow of a virtual object, or a program for causing one or more computers to execute these methods It may be in the form of
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。 As mentioned above, although the form for implementing this invention was demonstrated using the Example, this invention is not limited at all to such an Example, In the range which does not deviate from the summary of this invention, it is with various forms. Of course, it can be implemented.
本発明は、仮想物体影作成装置や合成画像作成装置の製造産業に利用可能である。 The present invention can be used in the manufacturing industry of virtual object shadow creation devices and composite image creation devices.
２０ 複合現実感表現システム、２２ 明るさ情報取得装置、２２ａ カメラ、２２ｂ 魚眼レンズ、３０ 複合現実感演算装置、３２ ネットワーク、３４ 取得位置明るさパラメータ設定装置、３６ 補間位置明るさパラメータ設定装置、３８ データベースサーバ、４０ 合成画像作成装置、５０ 頭部装着型映像装置（ＨＭＤ）、５２ 撮影装置、５４ 位置姿勢取得装置、５６ 表示装置。 DESCRIPTION OF SYMBOLS 20 Mixed reality expression system, 22 Brightness information acquisition apparatus, 22a Camera, 22b Fisheye lens, 30 Mixed reality calculation apparatus, 32 Network, 34 Acquisition position brightness parameter setting apparatus, 36 Interpolation position brightness parameter setting apparatus, 38 Database Server, 40 composite image creation device, 50 head-mounted video device (HMD), 52 photographing device, 54 position and orientation acquisition device, 56 display device.
Claims (14)
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備える仮想物体影作成装置。 A virtual object shadow creation device that creates a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
Brightness parameter setting means for setting the brightness parameter at a plurality of positions in the real space;
When creating a shadow of an arbitrary virtual object of the at least one virtual object, the virtual object is scheduled to be placed in a real space among a plurality of parameter setting positions where the brightness parameter is set A shadow creating means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the position;
A virtual object shadow creation device comprising:
前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 1,
The brightness parameter setting means is means for setting the brightness parameter at the plurality of parameter setting positions including a plurality of acquisition positions, which are positions for acquiring brightness information including light intensity.
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 2,
For the unacquired position where the brightness information is not acquired among the plurality of parameter setting positions, the brightness parameter setting means is configured to obtain the brightness information or the brightness parameter at at least a part of the plurality of acquisition positions. A means for setting the brightness parameter at the unacquired position using
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および／または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to claim 3,
The brightness parameter setting means is a fault that affects light intensity and / or direction at the unacquired position in addition to the brightness information or the brightness parameter at at least a part of the plurality of acquired positions. Means for setting the brightness parameter at the unacquired position using a distance between an object and the unacquired position;
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、Ｎｋ（Ｎｋ≧２）個の前記取得位置ｋ（ｋは１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（ｋｓｅｌは１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）の各々と前記未取得位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、前記選択取得位置ｋｓｅｌにおける前記明るさパラメータＳ［ｋｓｅｌ］と、前記未取得位置ｑと前記障害物との距離ｔ［ｑ］（ｔ［ｑ］≧０）と、を用いて前記未取得位置ｑにおける前記明るさパラメータＳ［ｑ］を次式（Ａ）により計算する手段である、
仮想物体影作成装置。
The brightness parameter setting unit is configured to select Nksel selected acquisition positions ksel (ksel is 1 to Nksel, where 2 ≦ Nksel ≦ Nk) selected from Nk (Nk ≧ 2) acquisition positions k (k is 1 to Nk). ) And the unacquired position q, the distance parameter a [q, ksel], the brightness parameter S [ksel] at the selected acquired position ksel, and the distance t [ q] (t [q] ≧ 0) and calculating the brightness parameter S [q] at the unacquired position q by the following equation (A):
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 5,
The brightness parameter setting means is a means for setting the brightness parameter at a plurality of positions including a planned placement position in all real spaces of the at least one virtual object.
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 6,
The shadow creating means, when creating a shadow of the arbitrary virtual object, for each of a plurality of portions each corresponding to a part of the arbitrary virtual object, from a predetermined arrangement position of the portion in the real space Means for creating a shadow of the entire virtual object by creating a shadow of the portion using the brightness parameter at one position within a range;
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 6,
When creating a shadow of the arbitrary virtual object, the shadow creating means is configured to generate the shadow of the arbitrary virtual object when the light source environment for each part of the arbitrary virtual object is not assumed to be constant. The entire shadow of the arbitrary virtual object is created using the brightness parameter at one position within a predetermined range from the planned placement position in the real space. For each of a plurality of parts corresponding to a part of the virtual object, by creating a shadow of the part using the brightness parameter at one position within a predetermined range from a position where the part is planned to be arranged in the real space A means for creating the entire shadow of any virtual object,
Virtual object shadow creation device.
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 8,
The shadow creating means, when creating a shadow of the arbitrary virtual object, a plurality of basic shadow images and basic diffusion images predetermined for the arbitrary virtual object, and arrangement of the arbitrary virtual object in the real space Means for creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from a planned position;
Virtual object shadow creation device.
前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、
前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、
仮想物体影作成装置。 The virtual object shadow creation device according to any one of claims 1 to 9,
The brightness parameter setting means is means for outputting brightness parameters at the plurality of set parameter setting positions to a network,
The shadow creating means is means for obtaining the brightness parameter at the plurality of parameter setting positions from the network.
Virtual object shadow creation device.
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、
を備える合成画像作成装置。 The virtual object shadow creation device according to any one of claims 1 to 10,
Virtual synthesized image creating means for creating a virtual synthesized image by synthesizing the shadow of the at least one virtual object and the created at least one virtual object;
A composite image creating apparatus.
現実空間の画像である現実画像を取得する現実画像取得手段と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、
を備える合成画像作成装置。 The virtual object shadow creation device according to any one of claims 1 to 10,
A real image acquisition means for acquiring a real image which is an image of a real space;
A real virtual composite image creating means for creating a real virtual composite image obtained by combining the shadow of the at least one virtual object and the created at least one virtual object and the acquired real image;
A composite image creating apparatus.
（ａ）コンピューターが、現実空間の複数の位置における前記明るさパラメータを設定するステップと、
（ｂ）コンピューターが、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成するステップと、
を備えることを特徴とする仮想物体影作成方法。 A virtual object shadow creation method for creating a shadow of a virtual object that is at least one virtual object using a brightness parameter that is a parameter reflecting the intensity and direction of light in real space,
(A) a computer setting the brightness parameter at a plurality of positions in real space ;
(B) When the computer creates a shadow of an arbitrary virtual object among the at least one virtual object, the virtual object of the arbitrary virtual object among a plurality of parameter setting positions where the brightness parameter is set Creating a shadow of the arbitrary virtual object using the brightness parameter at at least one position within a predetermined range from the planned placement position in the real space ; and
Virtual object shadow creating method characterized by comprising a.
The program for making one or more computers perform each step of the virtual object shadow production method of Claim 13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009211891A JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009211891A JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011060195A JP2011060195A (en) | 2011-03-24 |
| JP5446003B2 true JP5446003B2 (en) | 2014-03-19 |
Family
ID=43947722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009211891A Expired - Fee Related JP5446003B2 (en) | 2009-09-14 | 2009-09-14 | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5446003B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9311751B2 (en) * | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
| EP3012805A1 (en) * | 2014-10-21 | 2016-04-27 | The Procter and Gamble Company | Synthesizing an image of fibers |
| JP7188902B2 (en) * | 2018-03-30 | 2022-12-13 | 東京ガスｉネット株式会社 | Information processing system and program |
| JP7188901B2 (en) * | 2018-03-30 | 2022-12-13 | 東京ガスｉネット株式会社 | Information processing system and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175762A (en) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | Light environment measuring instrument and device and method for shading virtual image using same |
| JP2002117413A (en) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | Image generating device and image generating method for reflecting light source environmental change in real time |
| WO2008063168A1 (en) * | 2006-11-20 | 2008-05-29 | Thomson Licensing | Method and system for modeling light |
-
2009
- 2009-09-14 JP JP2009211891A patent/JP5446003B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011060195A (en) | 2011-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069135B2 (en) | On-set facial performance capture and transfer to a three-dimensional computer-generated model | |
| US11671717B2 (en) | Camera systems for motion capture | |
| US11694392B2 (en) | Environment synthesis for lighting an object | |
| CN110148204B (en) | Method and system for representing virtual objects in a view of a real environment | |
| JP7007348B2 (en) | Image processing equipment | |
| JP2021527895A (en) | Object modeling operation method and device and device | |
| KR101145260B1 (en) | Apparatus and method for mapping textures to object model | |
| JP2006053694A (en) | Space simulator, space simulation method, space simulation program and recording medium | |
| CN107341853A (en) | Super large virtual scene and dynamic take the photograph the virtual reality fusion method and system of screen | |
| JP6782108B2 (en) | Visible rate calculation device | |
| US8294713B1 (en) | Method and apparatus for illuminating objects in 3-D computer graphics | |
| US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
| US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
| CN116485984B (en) | Global illumination simulation method, device, equipment and medium for panoramic image vehicle model | |
| JP5446003B2 (en) | Virtual object shadow creation device, composite image creation device, virtual object shadow creation method, and program | |
| CA3199390A1 (en) | Systems and methods for rendering virtual objects using editable light-source parameter estimation | |
| WO2019042028A1 (en) | All-around spherical light field rendering method | |
| JPH06348815A (en) | Method for setting three-dimensional model of building aspect in cg system | |
| US20220392121A1 (en) | Method for Improved Handling of Texture Data For Texturing and Other Image Processing Tasks | |
| US20180005432A1 (en) | Shading Using Multiple Texture Maps | |
| JP2007272847A (en) | Lighting simulation method and image composition method | |
| Triantafyllou et al. | Practical techniques for aerial photogrammetry, polygon reduction and aerial 360 photography for cultural heritage preservation in AR and VR applications | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
| JP2009205522A (en) | Program, information storage medium, and information conversion system | |
| US11380048B2 (en) | Method and system for determining a spectral representation of a color |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |