KR100521413B1 - Inverse rendering apparatus and method using filtered environment map - Google Patents
Inverse rendering apparatus and method using filtered environment map Download PDFInfo
- Publication number
- KR100521413B1 KR100521413B1 KR10-2003-0097797A KR20030097797A KR100521413B1 KR 100521413 B1 KR100521413 B1 KR 100521413B1 KR 20030097797 A KR20030097797 A KR 20030097797A KR 100521413 B1 KR100521413 B1 KR 100521413B1
- Authority
- KR
- South Korea
- Prior art keywords
- diffuse
- environment map
- glossy
- plane
- filtered
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
1. 청구범위에 기재된 발명이 속하는 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법에 관한 것임.The present invention relates to an apparatus and method for inverse rendering using a filtered environment map.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은 필요로 하는 입력 사진의 수를 줄임은 물론, 카메라와 광원의 위치를 정교하게 조정하기 위한 특수한 장치없이 한 영상내의 물체의 BRDF를 계측하고, 이때 입력으로 사용되는 영상내의 모델에 대한 3차원 위치 정보의 양을 최소한으로 줄일 수 있는 역렌더링 장치 및 그 방법을 제공하고자 함.The present invention measures the BRDF of an object in an image without special equipment for reducing the number of input pictures required, as well as for precisely adjusting the position of the camera and the light source. An object of the present invention is to provide an inverse rendering apparatus and method capable of minimizing the amount of dimensional location information.
3. 발명의 해결 방법의 요지3. Summary of the Solution of the Invention
본 발명은, 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 있어서, 상기 물체에 대한 광원정보로서 사용하기 위해, 반사속성을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터링수단; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾기 위한 디퓨즈 검사수단; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시(glossy) 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾기 위한 그로시 검사수단; 및 상기 디퓨즈 검사수단에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐 정의수단을 포함함.The present invention relates to an inverse rendering apparatus for measuring a reflection property (BRDF) of an object with respect to a model existing in an image, wherein the environment map around the object for which the reflection property is to be obtained is used for use as light source information for the object. Environment map filtering means for filtering in accordance with diffuse and glossy reflection attributes; Diffuse inspection means for finding a plane having diffuse reflection properties in each plane of an object with respect to models in the image using the diffuse filtered environment map; Gloss inspection means for finding a plane having a glossy reflection property with respect to a plane of the object not determined as the diffuse plane by using the diffuse filtered environment map and the glossy filtered environment map; And determining a plane of the object having no diffuse reflection property and the glossy reflection property as a diffuse texture using a diffuse map generated when the diffuse inspection unit calculates a diffuse constant. Includes means for defining diffuse textures.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 영상내의 물체에 대한 반사속성(BRDF)를 복원하는데 이용됨.The present invention is used to restore the reflection property (BRDF) for an object in an image.
Description
본 발명은 환경맵 필터링 기술을 이용하여 영상내에 존재하는 물체의 양방향반사분포함수(BRDF : Bidirectional Reflectance Distribution Function)(이하, "반사속성"이라 함)를 측정해내기 위한 역렌더링 장치 및 그 방법에 관한 것으로서, 특히 다양한 BRDF에서 들어오는 빛의 양을 미리 환경맵 필터링을 통해 계산하고, 각각의 모델 데이터를 이용하여 미리 계산된 저장된 빛의 양을 가져와 렌더링 공식을 거꾸로 취함으로써, 물체의 BRDF를 얻어 내는 역렌더링 장치 및 그 방법에 관한 것이다. The present invention relates to a reverse rendering apparatus and method for measuring a Bidirectional Reflectance Distribution Function (BRDF) (hereinafter referred to as "reflective property") of an object existing in an image using an environment map filtering technique. In particular, the amount of light coming from various BRDFs is calculated in advance through environment map filtering, and each model data is used to obtain a BRDF of an object by taking a pre-calculated amount of stored light and inverting a rendering formula. A reverse rendering apparatus and a method thereof are provided.
BRDF란, 표면재료의 파장별 반사율을 두 개의 방향, 즉 입사광의 방향과 반사광의 방향에 대한 함수로 나타내는 것으로서, 입사광 강도에 대한 방향별 반사광 강도의 비이다. BRDF represents the reflectance for each wavelength of the surface material as a function of two directions, that is, the direction of the incident light and the direction of the reflected light, and is a ratio of the reflected light intensity of each direction to the incident light intensity.
실세계의 복잡한 구조물들을 모델링하고 렌더링하는 것은 많은 노력을 필요로 한다. 이러한 작업을 손쉽게 하기 위해 영상 기반 모델링과 렌더링(rendering) 기술이 등장하게 되었다. 이 영상기반 렌더링은 한 장 또는 여러 장의 영상들을 이용하여 3차원 영상을 생성하는 기술이다. 이러한 기술들은 영상으로부터 텍스쳐(texture)를 추출하여 렌더링에 사용한다. 그러나, 이러한 텍스쳐는 주변 환경으로부터 빛의 영향을 받았으므로, 영상으로부터 획득한 텍스쳐를 텍스쳐 맵으로 사용할 경우, 영상을 획득할 때와 다른 조명 환경상에서는 비사실적인 영상을 만들어낸다. 이러한 점을 해결하기 위해서는, 획득한 텍스쳐(texture)로부터 사용한 물체의 실제 반사속성(BRDF)을 알아내는 작업이 필요하다. Modeling and rendering complex structures in the real world requires a lot of effort. To facilitate this task, image-based modeling and rendering techniques have emerged. This image-based rendering is a technique for generating a 3D image using one or several images. These techniques extract textures from images and use them for rendering. However, since these textures are influenced by light from the surrounding environment, when a texture obtained from an image is used as a texture map, a non-realistic image is produced in a different lighting environment than when acquiring an image. In order to solve this problem, it is necessary to find out the actual reflection property (BRDF) of the used object from the acquired texture.
특히, 사실적인 영상을 만들어 내기 위해서 갖추어져야 할 필수 조건은 물리적 속성에 기반한 렌더링 알고리즘과 모델링 데이터이다. 이중, 본 발명은 보다 사실적인 영상을 생성해 내기 위해, 모델링 데이터 그 중에서도 반사속성(BRDF)을 얻어 내는 것이다. In particular, the prerequisites for producing realistic images are rendering algorithms and modeling data based on physical properties. In particular, the present invention obtains the reflection property (BRDF) among the modeling data in order to generate a more realistic image.
그런데, 모델링 데이터중 물체의 반사속성(BRDF)은 측정하기 힘든 물체의 속성중 하나인 바, 종래에는 카메라와 광원의 위치를 매우 정교하게 조정해 가며 수많은 사진을 찍고, 이 사진에 찍힌 영상들을 분석하여 물체의 반사속성을 알아냈다. 그러나, 이와 같은 방법은 실험실 환경에서는 매우 유용하게 적용될 수 있지만, 그 외의 환경, 예를 들면 임의의 사진속의 물체의 반사속성을 알아내고 싶을 때는 매우 부적절한 방법이 될 수 있다.By the way, the reflection property (BRDF) of the object in the modeling data is one of the difficult properties of the object, and in the related art, the camera and the light source are precisely adjusted to take numerous pictures and analyze the images taken on the picture. The reflection property of the object was found. However, such a method may be very useful in a laboratory environment, but may be very inadequate when one wants to find out the reflection property of an object in another environment, for example, a photograph.
그럼, 종래의 BRDF 측정 장치를 살펴보기로 한다. Next, a conventional BRDF measuring apparatus will be described.
물체의 속성중 하나인 BRDF는 오래전부터 연구되어 왔다. 일예로, BRDF를 측정하는 종래의 장치로서, 도 1과 같은 "Murray-Coleman"의 gonioreflectometer가 있으며, 측정재료와 조도계 및 광원으로 구성되어 있다. 도 1에 도시된 바와 같이, 광원과 조도계는 설치된 궤도를 따라서 이동하고, 재료 샘플은 회전할 수 있도록 고안되어 있다. One of the properties of the object, BRDF, has been studied for a long time. For example, as a conventional apparatus for measuring BRDF, there is a "Murray-Coleman" gonioreflectometer as shown in FIG. 1, and is composed of a measuring material, an illuminometer, and a light source. As shown in Fig. 1, the light source and illuminometer are designed to move along an installed trajectory, and the material sample can be rotated.
"Murray-Coleman"은 이와 같은 장치를 이용하여 물체의 BRDF를 측정하였다. 또한, 가우시안(gaussian) 분포에 기반한 anisotropic 반사를 표현할 수 있는 새로운 BRDF 모델을 제시하였다. "Murray-Coleman" used an apparatus like this to measure the BRDF of an object. In addition, a new BRDF model that can represent anisotropic reflection based on Gaussian distribution is presented.
한편, "Sato"는 물체의 모델과 BRDF를 동시에 획득하였다. 즉, 물체의 BRDF를 디퓨즈 맵(diffuse map)과 스펙큘라(specular) 성분으로 나누어 계산을 해내었고, 이를 이용하여 사실적으로 렌더링할 수 있었다. Meanwhile, "Sato" acquired the model of the object and BRDF simultaneously. That is, the BRDF of the object was divided into a diffuse map and specular components, and the calculation was performed.
이외에도, "Konrad F. Karner", "S. Marschner"도 BRDF를 측정하기 위한 세로운 장비를 고안하였고, 이를 이용하여 BRDF를 측정하였다. 그러나, 이러한 방법들은 실험실적인 환경, 즉 정교하게 조정이 가능한 카메라와 광원을 가지고 물체의 반사속성을 측정하기 때문에 다양한 물체에 대해 다양한 조건에서의 BRDF 측정은 힘들었다. In addition, "Konrad F. Karner" and "S. Marschner" also devised new equipment for measuring BRDF, and measured BRDF using it. However, because these methods measure the reflective properties of an object with a laboratory environment, a camera and a light source that can be finely adjusted, it is difficult to measure BRDF under various conditions for various objects.
한편, BRDF 계측과는 약간은 거리가 있지만, 영상의 재조명이라는 분야에 대해 몇몇 연구가 이루어졌다. 일예로, "R.C Love"와 "Y.Yu", "Jeffry Nimeroff"는 하늘과 같은 자연광 조건이 바뀔 때 어떻게 보여질 것인지에 대해 연구하였다. 이들은 하늘의 조명모델을 정의하고, 이를 이용하여 물체에 들어오는 빛을 계산하였다. 그리고, 하늘의 조명 조건을 바꿔서 다시 렌더링함으로써, 다른 시간대에서 그리고 다른 하늘의 상황, 즉 구름이 많은 하늘, 또는 맑은 하늘과 같은 조건하에서 건축물들이나 물건들이 어떻게 보일지에 대한 예측을 하였다. 그러나, 이러한 연구는 매우 제한적인 상황, 즉 물체가 건축물과 같은 디퓨즈(diffuse) 물체일 경우를 가정하고 있다. On the other hand, some research has been done on the field of re-illumination of images, although it is slightly different from BRDF measurement. For example, "R.C Love", "Y.Yu", and "Jeffry Nimeroff" studied how they would look when natural light conditions such as the sky changed. They defined a lighting model for the sky and used it to calculate the light entering the object. And by re-rendering by changing the lighting conditions of the sky, we made predictions about how the buildings or objects would look at different time zones and under different sky conditions, such as a cloudy sky or a clear sky. However, this study assumes a very limited situation, i.e., the object is a diffuse object such as a building.
이와 달리, "Y. Yu"는 위의 방법과는 조금 다른 접근법을 가지고 물체들의 BRDF를 측정하였다. 즉, "Y.Yu"는 영상내에 가상의 물체를 사실적으로 추가하고, 영상내의 조명 조건을 변경했을 때 올바른 조명 효과를 가질 수 있도록 하기 위한 연구를 수행하였다. 이를 구체적으로 살펴보면, 우선 실내 전체의 장면을 여러 장의 사진을 가지고 촬영하였다. 그리고, 이 영상들을 "Paul E. Debevec"의 방법을 통해 모델링하고, 이렇게 얻어진 모델 데이터와 사진의 radiance 자료를 이용하여 실내 전체내에 있는 물체들의 BRDF를 계측해 내었고, 이렇게 얻어낸 모델 데이터와 BRDF 데이터를 이용하여 재조명했을 때 사실적인 영상들을 생성해 낼 수 있었다. 이렇게 함으로써, "Y.Yu"의 방법은 기존의 방법과는 다르게 디퓨즈(diffuse) 물체만이라는 단점과 카메라와 광원에 대한 정교한 조정이 필요하다는 단점 또한 극복할 수 있었다. 그러나, 이 방법은 전체 실내의 모델과 빛 조건을 복원하기 위해, 도 2와 같이 많은 수의 입력 사진이 필요한 단점이 있다.In contrast, "Y. Yu" measured the BRDF of objects with a slightly different approach. That is, "Y.Yu" has conducted research to add virtual objects to the image realistically and to have a correct lighting effect when the lighting conditions in the image are changed. In detail, first, the entire scene was taken with several pictures. Then, the images were modeled by the method of "Paul E. Debevec", and the BRDF of the objects in the whole room was measured using the model data and radiance data of the photograph. When the light was re-illuminated, the camera generated realistic images. By doing so, the method of "Y.Yu", unlike the conventional method, overcomes the disadvantage of only a diffuse object and the necessity of precise adjustment of the camera and the light source. However, this method has a disadvantage in that a large number of input pictures are required as shown in FIG. 2 in order to restore the model and the light conditions of the entire room.
이러한 단점을 극복하기 위해, "Samuel Boivin"은 한 장의 사진을 이용하여 사진내에 있는 물체들의 BRDF를 복원하고, 재조명과 가상의 물체를 추가하는 등의 작업을 수행하였다. 이때, 입력 데이터로서 사진내의 모델 데이터와 빛의 조건들을 그리고 우선 모든 물체에 대해 디퓨즈(diffuse) 속성을 복원해내고, 그 후 거울 반사속성을 찾아내었다. 그리고, isotropic 반사와 anisotropic 반사의 속성을 찾아내고, 최종적으로 남은 물체에 대해 텍스쳐(texture)로써 처리하였다. 이런 수학식으로 찾아낸 BRDF와 입력으로 주어진 모델 데이터를 이용하여 도 3과 같이 매우 사실적으로 재조명과 가상의 물체를 추가할 수 있었다. 그러나, 이 방법은 한 장의 사진 데이터를 이용하였고 조명에 대해서도 현광등과 같은 직접 조명만을 이용하였으므로, 실제 BRDF 계산에 있어서는 오차를 수반할 수 있을 뿐만 아니라, 다양한 BRDF를 찾아내기 위한 알고리즘이 오차를 보정해 나가면서 BRDF를 계측했기 때문에 많은 시간을 필요로 하는 단점이 있다. To overcome these shortcomings, "Samuel Boivin" used a single picture to restore the BRDF of objects in the picture, re-illumination and adding virtual objects. At this time, the model data in the picture and the light conditions as input data, and the diffuse property for all the objects were first restored, and then the mirror reflection property was found. Then, the properties of isotropic and anisotropic reflections were found, and the remaining objects were treated as textures. Using the BRDF found by this equation and the model data given as input, it was possible to add a re-illumination and a virtual object as shown in FIG. However, since this method uses a single piece of photographic data and only direct lighting such as a sine lamp for lighting, not only can the error be accompanied in the actual BRDF calculation, but the algorithm for finding various BRDFs can compensate for the error. There is a disadvantage in that it takes a lot of time because you have measured the BRDF as you go out.
본 발명은, 상기와 같은 제반 문제점을 해결하기 위하여 제안된 것으로, 필요로 하는 입력 사진의 수를 줄임은 물론, 카메라와 광원의 위치를 정교하게 조정하기 위한 특수한 장치없이 한 영상내의 물체의 BRDF를 계측하고, 이때 입력으로 사용되는 영상내의 모델에 대한 3차원 위치 정보의 양을 최소한으로 줄일 수 있는 역렌더링 장치 및 그 방법을 제공하는데 그 목적이 있다. The present invention has been proposed in order to solve the above problems, and reduces the number of input pictures required, as well as the BRDF of an object in an image without a special device for precisely adjusting the position of the camera and the light source. It is an object of the present invention to provide an inverse rendering apparatus and method capable of measuring and minimizing the amount of three-dimensional position information of a model in an image used as an input.
상기 목적을 달성하기 위한 본 발명은, 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 있어서, 상기 물체에 대한 광원정보로서 사용하기 위해, 반사속성을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터링수단; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾기 위한 디퓨즈 검사수단; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시(glossy) 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾기 위한 그로시 검사수단; 및 상기 디퓨즈 검사수단에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐 정의수단을 포함하여 이루어진 것을 특징으로 한다. In order to achieve the above object, the present invention, in the reverse rendering apparatus for measuring the reflection property (BRDF) of the object with respect to the model existing in the image, to use as the light source information for the object, Environment map filtering means for filtering an environment map around an object according to a diffuse and glossy reflection attribute; Diffuse inspection means for finding a plane having diffuse reflection properties in each plane of an object with respect to models in the image using the diffuse filtered environment map; Gloss inspection means for finding a plane having a glossy reflection property with respect to a plane of the object not determined as the diffuse plane by using the diffuse filtered environment map and the glossy filtered environment map; And determining a plane of the object having no diffuse reflection property and the glossy reflection property as a diffuse texture using a diffuse map generated when the diffuse inspection unit calculates a diffuse constant. Characterized in that it comprises a diffuse texture defining means.
한편, 본 발명은 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 적용되는 역렌더링 방법에 있어서, 반사속성을 얻고자 하는 상기 물체 주변의 환경맵을 획득하는 환경맵 획득단계; 상기 물체에 대한 광원정보로서 사용하기 위해, 상기 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하는 환경맵 필터링단계; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾는 디퓨즈 검사단계; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾는 그로시 검사단계; 및 상기 디퓨즈 검사단계에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하는 디퓨즈 텍스쳐 정의단계를 포함하여 이루어진 것을 특징으로 한다. Meanwhile, the present invention provides an inverse rendering method applied to an inverse rendering apparatus for measuring a reflection property (BRDF) of an object with respect to a model existing in an image, wherein the environment for acquiring an environment map around the object to obtain the reflection property A map acquisition step; An environment map filtering step of filtering the environment map according to a diffuse and glossy reflecting attribute for use as light source information on the object; A diffuse inspection step of finding a plane having diffuse reflection properties in each plane of an object with respect to models in the image using the diffuse filtered environment map; A gloss inspection step of finding a plane having a glossy reflection property with respect to a plane of the object not determined as the diffuse plane by using the diffuse filtered environment map and the glossy filtered environment map; And a diffuse texture that determines a plane of the object having no diffuse reflection property and the glossy reflection property as a diffuse texture using a diffuse map generated when calculating a diffuse constant in the diffuse inspection step. Characterized by including a texture defining step.
본 발명은 영상과 모델 데이터, 그리고 환경맵을 이용하여 영상내의 물체에 대한 BRDF를 복원하는 역렌더링에 관한 것으로서, 영상내에 있는 모델들에 대한 BRDF를 획득하기 위해 물체 주변의 환경맵을 촬영한 후, 물체에 대한 광원 정보로 사용하기 위해 환경맵의 필터링을 수행하고, 이를 이용하여 물체를 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로서 구분한다. 이를 위해, 우선 디퓨즈(diffuse) 물체를 찾아내고, 다음 그로시(glossy) 물체, 그리고 마지막 남은 물체에 대해서는 디퓨즈 텍스쳐(diffuse texture)로서 처리함으로써, 영상에서 찾아낸 광원 정보와 필터링된 환경맵으로부터 얻어낸 광원정보와의 오차를 이용하여 물체의 BRDF를 획득하고, 이렇게 획득한 BRDF 정보를 이용하여 다른 광원 조건하에서 물리적으로 올바른 영상을 만들어 낼 수 있게 한다.The present invention relates to inverse rendering for reconstructing BRDFs of objects in an image using images, model data, and environment maps. After photographing environment maps around objects in order to obtain BRDFs for models in the image, In order to use the light source information on the object, filtering of the environment map is performed, and the object is divided into a diffuse, glossy, and diffuse texture. To do this, first find a diffuse object, and then treat the next glossy object and the last remaining object as a diffuse texture so that the light source information obtained from the image and the filtered environment map can be obtained. The BRDF of the object is obtained by using the error of and, and the BRDF information thus obtained can be used to produce a physically correct image under different light source conditions.
상기 종래기술에 비춰 볼 때, 본 발명에서는 "Samuel Boivin"과 유사한 접근 방법을 취하나, 방법론에서는 매우 다른 방법을 사용한다. 우선, 입력으로서 얻고자 하는 물체의 모델 데이터만을 필요로 하며, 또한 광원의 조건을 환경맵으로써 대체하였다. 그렇게 함으로써, "Y.Yu"의 방법에서 전체 장면에 대한 모델링의 노력을 최소화할 수 있게 된다. 또한, "Samuel Boivin"과는 달리, BRDF를 계산하려는 물체로 들어오는 빛의 양을 정확히 얻어 낼 수 있게 된다. 또한, BRDF 계산에 있어서도 위의 두 방법에서는 사진내에 존재하는 모든 물체의 BRDF를 계산해야 하지만, 본 발명에서는 BRDF를 얻고자 하는 물체에 대해서만 BRDF를 측정하므로 속도향상을 꾀할 수 있다. In view of the prior art, the present invention takes a similar approach to "Samuel Boivin", but a very different methodology in the methodology. First, only the model data of the object to be obtained as an input is required, and the condition of the light source is replaced by an environment map. By doing so, it is possible to minimize the effort of modeling the entire scene in the method of "Y. Yu". In addition, unlike "Samuel Boivin", it is possible to accurately obtain the amount of light coming into the object to calculate the BRDF. In the BRDF calculation, the above two methods need to calculate the BRDF of all objects present in the picture. However, in the present invention, since the BRDF is measured only for the object to obtain the BRDF, the speed can be improved.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 4 는 본 발명에 따른 역렌더링 장치의 일실시예 구성도이다.Figure 4 is a block diagram of an embodiment of a reverse rendering apparatus according to the present invention.
본 발명에서는 물체의 반사속성을 획득하기 위해 한 장의 사진과 한 장의 환경맵을 이용한다. 우선, 물체의 모델링 정보를 이용하여 영상내 화소마다 보이는 물체의 정보를 얻어낸다. 그 후, 모든 물체를 디퓨즈(diffuse) 물체로 가정하여 BRDF를 측정한 후, 디퓨즈(diffuse)가 아닌 물체에 대해서 그로시(glossy) 속성을 측정하고, 나머지 물체를 디퓨즈 텍스쳐(diffuse texture)로서 적용을 하였다. In the present invention, one photograph and one environment map are used to obtain the reflective property of the object. First, information about an object visible for each pixel in an image is obtained using modeling information of the object. Then measure BRDF, assuming all objects are diffuse objects, measure glossy properties for non-diffuse objects, and apply the remaining objects as diffuse textures. It was.
도 4에 도시된 바와 같이, 본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 장치는, 물체에 대한 광원정보로서 사용하기 위해, 반사속성(BRDF)을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터(24)와, 디퓨즈(diffuse) 필터링된 환경맵을 이용하여, 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈(diffuse) 반사속성을 갖는 평면을 찾기 위한 디퓨즈(diffuse) 검사부(21)와, 디퓨즈(diffuse) 필터링된 환경맵 및 그로시(glossy) 필터링된 환경맵을 이용하여, 디퓨즈(diffuse) 평면으로 결정되지 않은 물체의 평면에 대해 그로시(glossy) 반사속성을 갖는 평면을 찾기 위한 그로시(glossy) 검사부(22)와, 디퓨즈 검색부(21)에서 디퓨즈(diffuse) 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 디퓨즈(diffuse) 반사속성 및 그로시(glossy) 반사속성을 갖지 않는 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐(diffuse texture) 정의부(23)를 포함한다. As shown in FIG. 4, the reverse rendering apparatus using the filtered environment map according to the present invention diffuses an environment map around an object to obtain the reflection property BRDF for use as light source information for the object. Diffuse reflections in each plane of the object with respect to the models in the image, using an environment map filter 24 for filtering to diffuse, glossy reflection attributes and a diffuse filtered environment map. A plane of an object that is not determined as a diffuse plane by using a diffuse inspection unit 21 to find a plane having an attribute, a diffuse filtered environment map, and a glossy filtered environment map. A glossy inspection unit 22 for finding a plane having a glossy reflection property with respect to the diffuser, and a diffuse map generated when the diffuse search unit 21 calculates a diffuse constant. , Diffuse ) A diffuse texture definition unit 23 for determining a plane of an object having no reflective attribute and a glossy reflective attribute as a diffuse texture.
여기에서는, 다양한 BRDF에서 들어오는 빛의 양을 미리 환경맵 필터링을 통해 계산하고, 각각의 모델 데이터를 이용하여 미리 계산된 저장된 빛의 양을 가져와 렌더링 공식을 거꾸로(역렌더링) 취함으로써, 물체의 BRDF를 얻어 낸다. Here, the amount of light coming from various BRDFs is calculated in advance through environment map filtering, and the model is used to take the amount of light pre-calculated using each model data and reverse the rendering formula (re-render) to obtain the BRDF of the object. To get
본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 장치는 영상과 모델, 그리고 환경맵으로 입력으로 하여, 환경맵 필터링을 이용하여 각각의 평면에 들어오는 빛의 양을 계산하고, 이를 이용하여 평면들의 BRDF를 계산해낸다. 이때, 주어진 모델 정보와 BRDF 그리고 빛정보를 이용하여 시점의 일관성을 물론 조명의 일관성을 유지할 수 있고, 영상에 새로운 조명을 추가하거나, 영상에 가상의 물체를 추가할 경우 올바른 그림자를 만들어내거나 올바른 반사를 표현할 수 있어 가상의 공간에 3차원 물체를 매우 사실적으로 쉽게 추가할 수 있다. The inverse rendering apparatus using the filtered environment map according to the present invention inputs images, models, and environment maps, calculates the amount of light entering each plane using environment map filtering, and uses the BRDFs of the planes. Calculate At this time, the model information, BRDF, and light information can be used to maintain the consistency of lighting as well as the consistency of viewpoints, and to create the correct shadow or correct reflection when adding new lighting to the image or adding virtual objects to the image. It is possible to add 3D objects to the virtual space very realistically and easily.
환경맵 필터링은 환경맵에 의한 광원효과를 적절히 줄 수 있으면서도 실시간으로 처리를 할 수 있는 기술이다. 그러나, 단점으로 그림자 현상과 상호반사를 표현하지 못한다는 단점이 있다. Environment map filtering is a technology that can provide real-time processing while adequately giving the light effect by environment map. However, the disadvantage is that it does not express shadow phenomenon and interreflection.
환경맵의 필터링은 환경맵 영상을 블러링함으로써 유사한 영상을 얻어 낼 수 있다. 그러나, 이 방법은 물리적 현상에 잘 맞아 떨어지지 않는다. 좀더 물리적인 올바른 접근 방법으로서는, BRDF를 이용하여 환경맵을 필터링하는 방법이 있다. 일반적으로, 환경맵 필터링은 대칭형 BRDF에 대해 적용이 가능하다. 따라서, 본 발명에서는 노멀화된 퐁 BRDF(normalized phong BRDF)를 사용하였다. 하기의 [수학식 1]은 normalized phong BRDF에서의 식이다.The filtering of the environment map may obtain a similar image by blurring the environment map image. However, this method does not fit well with physical phenomena. A more physically correct approach is to filter the environment map using BRDF. In general, environment map filtering is applicable to symmetric BRDF. Therefore, in the present invention, a normalized phong BRDF was used. Equation 1 below is a formula in a normalized phong BRDF.
상기 [수학식 1]에서, 각각의 항은 미리 계산될 수 있고, Kd는 디퓨즈(diffuse) 상수이고, Ks는 스펙큘라(specular) 상수이다. 그리고, N은 그로시(glossy) 상수이며, n은 노멀 벡터이고, l은 빛의 방향 벡터이다. 또한, r은 시선의 반사 벡터이다. 또한, r은 시선의 반사 벡터이다. L은 물체를 렌더링했을때의 값이다. 또한, 앞의 는 난반사에 대한 부분으로서, Ω는 모든 반구를 말한다. 즉, 모든 반구로부터 들어오는 각각의 빛에 평면의 노멀과 빛의 방향에 대한 내적값을 곱한 빛의 세기의 합을 의미한다. 하나의 환경맵이 주어지면 임의의 평면의 노멀 n에 대해 위의 식이 미리 계산될수 있다. 이렇게 계산된 값은 HDRI 영상으로 저장된다. 또한, 뒤의 은 그로시(glossy)반사에 대한 부분이다. 위의 식과 마찬가지로 모든 반구로부터 들어오는 빛에 시선벡터의 반사 벡터 r과 빛의 방향백터 l의 내적값을 N제곱한 값을 곱한 빛의 세기의 합을 의미한다. 위의 식에서는 시선의 반사벡터 r과 그로시 상수 N에 대해 위의 식의 값을 전처리할 수 있다. 이렇게 전처리한 결과는 HDRI 영상으로 저장된다.In Equation 1, each term may be calculated in advance, K d is a diffuse constant, and K s is a specular constant. N is a glossy constant, n is a normal vector, and l is a direction vector of light. R is a reflection vector of the line of sight. R is a reflection vector of the line of sight. L is the value when the object is rendered. Also, the front Is part of diffuse reflection, Ω refers to all hemispheres. That is, it means the sum of the intensity of light multiplied by the inner value of the direction of light and the normal of the plane to each light coming from all hemispheres. Given one environment map, the equation above can be precomputed for normal n of any plane. The calculated value is stored as an HDRI image. Also, behind Is part of the glossy reflection. Similar to the above equation, it means the sum of the intensity of light multiplied by the product of the reflection vector r of the eye vector and the dot product of the direction vector l of the light. In the above equation, the value of the above equation can be preprocessed for the reflection vector r of the line of sight and the Grosh constant N. The preprocessed results are stored as HDRI images.
환경맵 필터(24)를 통해 BRDF를 이용하여 환경맵을 필터링하게 되면, 도 8에 도시된 바와 같은 필터링된 환경맵을 얻을 수 있다. 도 8의 필터링된 환경맵은 도 7의 환경맵을 BRDF에 맞춰 필터링한 결과이다. When the environment map is filtered using BRDF through the environment map filter 24, a filtered environment map as shown in FIG. 8 may be obtained. The filtered environment map of FIG. 8 is a result of filtering the environment map of FIG. 7 according to BRDF.
그럼, 디퓨즈(diffuse) 검사부(21)에서의 디퓨즈(diffuse) 평면을 찾는 과정을 살펴보기로 한다. Next, a process of finding a diffuse plane in the diffuse inspection unit 21 will be described.
디퓨즈(diffuse) 평면의 경우, 표면의 radiance값은 상기 [수학식 1]에 의해 결정된다. 그러므로, 디퓨즈 상수 Kd는 표면의 radiance 값을 로 나누어 줌으로써 계산할 수 있다. 이때, 는 환경맵 필터(24)에 의해 필터링된 환경맵에서 가져올 수 있다.In the case of the diffuse plane, the radiance value of the surface is determined by Equation 1 above. Therefore, the diffusion constant K d is the radiance of the surface. It can be calculated by dividing by. At this time, May be taken from the environment map filtered by the environment map filter 24.
그런데, 이 방법의 문제점으로는 BRDF를 측정하려는 물체의 디퓨즈(diffuse) 속성을 계산하고자 할 때 shadowing 현상이나 inter-반사현상을 반영할 수 없다는 점이다. 이와 같은 점에 대한 개선 방법으로서, 획득해낸 BRDF를 이용하여 렌더링한 영상과 실제영상과의 오차를 구하고, 이렇게 계산된 오차를 이용하여 다시 BRDF를 보정하는 방법이 있을 수 있다. 도 9 는 디퓨즈(diffuse) 속성을 이용하여 픽셀 단위로 BRDF를 계산해낸 영상, 즉 디퓨즈 맵(diffuse map)을 나타낸다. However, the problem with this method is that it cannot reflect the shadowing phenomenon or inter-reflection phenomenon when calculating the diffuse property of the object to measure the BRDF. As an improvement method for such a point, there may be a method of obtaining an error between the rendered image and the actual image using the obtained BRDF, and correcting the BRDF again using the calculated error. FIG. 9 illustrates an image, that is, a diffuse map, in which BRDF is calculated in units of pixels using a diffuse attribute.
물체는 디퓨즈(diffuse) 속성과 미러(mirror) 반사속성을 둘 다 가지고 있을 수 있다. Objects can have both diffuse and mirror reflection properties.
미러(mirror) 반사는 phong BRDF에서 그로시(glossy) 상수 N이 무한대일 경우이다. 이 경우는 필터링을 수행하지 않은 환경맵으로부터 빛을 가져와 계산해야 한다. 이때, 물체의 geometry 정보를 알고 있으므로, 노멀 벡터 n과 반사 벡터 r을 알 수 있다. 그러므로, 눈으로 들어 오는 빛은 계산된 n과 r을 이용하여 디퓨즈(diffuse)로 필터링된 환경맵과 필터링되지 않은 환경맵으로부터 값을 가져와서 계산하게 된다[수학식 3].The mirror reflection is when the glossy constant N is infinite in phong BRDF. In this case, we need to get the light from the environment map without filtering. In this case, since the geometry information of the object is known, the normal vector n and the reflection vector r can be known. Therefore, the light coming into the eye is calculated using the calculated n and r by taking values from the diffuse filtered and unfiltered environment maps (Equation 3).
본 발명에서 구하고자 하는 파라미터는 현재 N을 무한대한 값이다. 상기 [수학식 3]에서 Ld와 Lsn는 환경맵에서 얻어올 수 있는 값이고, Kd와 K s는 본 발명에서 구하고자 하는 값이다. 두 개의 미지수를 계산하기 위해서는 두 개의 식이면 충분하므로, 두 개 이상의 점을 샘플링하여 Kd와 Ks를 계산할 수 있다.In the present invention, the parameter to be obtained is an infinite value of N at present. In Equation 3, L d and L sn are values that can be obtained from an environment map, and K d and K s are values to be obtained in the present invention. Two equations are sufficient to calculate two unknowns, so we can sample Kd and K s by sampling two or more points.
미러(mirror) 반사의 경우, N이 무한대로써 특별한 상황에서의 계산이다. In the case of mirror reflection, N is infinity, which is a calculation under special circumstances.
최초에 N이 1로써 필터링된 환경맵을 가지고 위의 알고리즘을 적용하여 Ks와 Kd를 계산했다고 가정한다면, 실제 영상의 값과 계산된 값을 가지고 얻어낸 값의 오차는 매우 클 것이다. 그러나, N을 점점 증가시켜 감에 따라 실제 영상과 계산된 값의 오차는 점점 줄어들어 N이 무한대가 되었을 때 오차가 최소가 될 것이다. 마찬가지로, 임의의 N값을 갖는 물체에 대해 환경맵의 N값을 점차 증가시켜 가면서 오차값을 관찰하면, 처음에는 큰 오차값을 갖다가, 점차 오차가 줄어들고 물체의 그로시(glossy) 상수 N과 환경맵의 N이 유사해 질 때 최소의 오차를 가지게 될 것이고, 그 이후 다시 오차는 증가하게 될 것이다.If we initially assume that N is an environment map filtered with 1 and compute K s and K d using the above algorithm, the error between the actual image and the value obtained with the calculated value will be very large. However, as N increases gradually, the error between the actual image and the calculated value gradually decreases, and when N becomes infinite, the error will be minimal. Similarly, when an error value is observed while gradually increasing the N value of the environment map for an object having an arbitrary N value, the initial value has a large error value, and then gradually decreases and the object's glossy constant N and the environment When the Ns in the map become similar, there will be a minimum error, after which the error will increase again.
본 발명에서는 그로시(glossy) 반사를 갖는 물체의 BRDF를 계산하기 위해서 환경맵을 각각의 N에 대해 필터링을 수행하고, 각각의 환경맵에 대해서 Ks와 Kd 그리고 오차를 계산한 후 오차가 최소가 되는 환경맵의 Ks와 Kd 그리고 N을 택한다.In the present invention, in order to calculate the BRDF of an object having glossy reflection, the environment map is filtered for each N, and the error is minimized after calculating K s and K d and the error for each environment map. Choose K s , K d, and N of the environment map.
이제, 도 5를 참조하여 본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 방법을 살펴보기로 한다. Now, the reverse rendering method using the filtered environment map according to the present invention will be described with reference to FIG. 5.
본 발명에서는 물체의 BRDF를 계산하기 위해 3가지 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로 분류하는데, 우선 BRDF를 계산하고자 하는 물체의 환경맵을 획득하여(501), 환경맵을 BRDF에 맞춰 필터링한 후(502), 디퓨즈(diffuse) 물체를 선택하고(503), 남은 평면에 대해 그로시(glossy) 반사속성을 찾아내고(504), 마지막으로 남은 평면에 대해 디퓨즈 텍스쳐(diffuse texture)로써 처리를 한다. 이를 구체적으로 살펴보면 다음과 같다. In the present invention, to calculate the BRDF of the object is classified into three diffuse (diffuse), gloss (glossy), diffuse texture (diffuse texture), first obtain the environment map of the object to calculate the BRDF (501), the environment After filtering the map to BRDF (502), select a diffuse object (503), find the glossy reflective properties for the remaining plane (504), and diffuse texture (for the last remaining plane) process with diffuse texture. Looking at this in detail.
먼저, 디퓨즈 검사부(21)에서 디퓨즈(diffuse) 반사평면을 찾는 과정(503)을 살펴보기로 한다. First, the process of finding a diffuse reflection plane in the diffuse inspection unit 21 will be described.
우선, 환경맵 필터(24)를 통해 환경맵을 디퓨즈(diffuse)에 대해서 필터링을 수행한다. First, the environment map is filtered through the environment map filter 24 to diffuse.
그리고, 물체의 모델 데이터와 카메라 파라메터를 이용하여 렌더링하여 아이템 버퍼(item buffer)를 획득한다. 이 아이템 버퍼(item buffer)는 픽셀 단위로 보이는 물체의 식별자(ID)를 저장하고 있는데, 입력 영상과 픽셀로 1대1 매칭이 된다. 이 아이템 버퍼를 이용하여 픽셀 단위의 노멀을 얻어 낼수 있고, 이 노멀을 이용하여 디퓨즈(diffuse) 필터링된 환경맵으로부터 Ld를 얻어 낼 수 있다.An item buffer is obtained by rendering using model data of an object and camera parameters. The item buffer stores an identifier (ID) of an object, which is viewed in pixels, and has a one-to-one match with an input image and a pixel. You can use this item buffer to get the normal pixel-by-pixel, and use this normal to get L d from the diffuse filtered environment map.
또한, 물체가 있는 모든 픽셀에 대해 입력 영상의 픽셀값을 이값으로 나누어 의사 디퓨즈 맵(pseudo diffuse map)을 얻어 낼 수 있다. 이후, 평면의 아이템마다 디퓨즈(diffuse) 값의 평균을 계산하고, 이 값을 이용하여 오차를 계산한다[수학식 4]. 이때, 오차가 일정 임계값내에 들 경우 디퓨즈(diffuse) 반사로 판단한다.In addition, a pseudo diffuse map may be obtained by dividing a pixel value of an input image by this value for all pixels having an object. Then, the average of the diffuse (diffuse) value for each item of the plane is calculated, using this value to calculate the error (Equation 4). At this time, if the error falls within a certain threshold, it is determined as diffuse reflection.
상기 [수학식 4]에서, K d arg는 임의의 평면의 Diffuse 상수값의 평균을 말한다. 또한, M은 입력 영상내에서 평면이 차지하는 픽셀의 수를 말한다. 또한, 는 각각의 픽셀에 대해 난반사 필터링된 환경맵에서 값을 가져와 이 값으로 픽셀의 인텐시티를 나눈 값의 합을 의미한다. 또한, 은 i번째 픽셀의 노멀을 말하고, 는 이 노멀을 이용하여 난반사 필터링된 환경맵으로부터 빛의 값을 가져왔음을 의미한다. 또한, Error는 평면의 Diffuse 값의 오차를 의미한다. 계산된 K d arg 값으로부터 얼마나 차이가 있는지를 알아내기 위한 식이 아래의 식이다. 또한, abs()는 괄호 안의 값의 절대값을 반환하는 함수이다. 즉, 임의의 평면에 속하는 각각의 픽셀에 대해 난반사 값에서 평균을 뺀 값의 평균을 Error값으로 취한다.In Equation 4, K d arg refers to an average of Diffuse constant values of an arbitrary plane. In addition, M refers to the number of pixels occupied by the plane in the input image. Also, For each pixel in the diffuse reflection filtered environment map It is the sum of the values obtained by dividing the intensity of the pixels by this value. Also, Is the normal of the i-th pixel, Means that the light value is obtained from the diffuse reflection filtered environment map using this normal. In addition, Error means an error of the plane Diffuse value. The following expression is used to find out how much difference there is from the calculated K d arg values. Abs () is also a function that returns the absolute value of the value in parentheses. That is, the average of the values obtained by subtracting the mean from the diffuse reflection value is taken as an Error value for each pixel belonging to an arbitrary plane.
이와 같은 과정을 통해 디퓨즈(diffuse) 평면을 찾은 결과는 다음의 [표 1]과 같다. The result of finding the diffuse plane through the above process is shown in Table 1 below.
이후, 그로시 검사부(22)에서는 디퓨즈 검사부(21)에서 디퓨즈(diffuse) 속성이 결정되지 않은 나머지 평면에 대해 그로시(glossy) 반사인지를 체크한다(504). 이를 구체적으로 살펴보면 다음과 같다. Thereafter, the gloss inspection unit 22 checks whether the diffuse inspection unit 21 is a glossy reflection with respect to the remaining plane whose diffuse property is not determined (504). Looking at this in detail.
먼저, 각각의 평면에 대해 정해진 개수 만큼의 점을 샘플링한다. 이때, 샘플링할 때는 반사 벡터가 다른 물체에 충돌하지 않는 점을 선택한다. 그리고, 선택된 점의 노멀 벡터 n과 반사 벡터 r을 이용하여 환경맵들로부터 값을 가져온다. 도 17 은 샘플링할 때 반사벡터를 구하고, 구한 반사벡터를 이용하여 환경맵으로부터 값을 가져오는 과정을 나타낸 것이다. 하기의 [수학식 5]는 샘플링의 개수가 3개인 경우를 나타낸 것이다. First, a predetermined number of points are sampled for each plane. At this time, when sampling, the point where the reflection vector does not collide with another object is selected. Then, the value is obtained from the environment maps using the normal vector n and the reflection vector r of the selected point. 17 illustrates a process of obtaining a reflection vector when sampling and obtaining a value from an environment map using the obtained reflection vector. Equation 5 below illustrates the case where the number of sampling is three.
상기 [수학식 5]에서는 Kd와 Ks를 구하기 위해 SVD 방법을 사용하였다. SVD 방법을 사용하여 오차가 최소를 가지는 Kd와 Ks를 구할 수 있고, 이렇게 구한 K d와 Ks를 이용하여 에러를 계산한다.In Equation 5, the SVD method was used to obtain K d and K s . Using SVD method, we can find K d and K s with minimum error, and calculate the error using K d and K s .
이렇게 각각의 환경맵에 대해 에러를 구한후, 이 에러중 가장 작은 에러를 갖는 환경맵의 N을 평면의 그로시(glossy) 상수 N으로 사용한다. 그러나, 에러가 가장 작다고 해서 항상 그로시(glossy)한 것은 아니다. 따라서, 텍스쳐(texture)의 경우는 위와 상관없이 에러를 가질 것이므로, 일정한 임계값을 두어 에러가 임계값 이내에 속하는 평면에 대해서만 그로시(glossy)로서 선택한다. 도 10 은 본 발명의 그로시 검사(glossy check) 과정(504)에서의 에러 그래프를 보여 주고 있다. 하기의 [표 2]는 각각의 평면과 본 발명의 수행 결과를 나타낸다. After finding an error for each environment map, N is used as the plane's glossy constant N for the environment map with the smallest error. However, the smallest error is not always glossy. Therefore, in the case of texture, there will be an error regardless of the above, so a certain threshold value is selected so that only the plane in which the error falls within the threshold value is selected as glossy. 10 shows an error graph in the glossy check process 504 of the present invention. Table 2 below shows each plane and the results of the present invention.
마지막으로, 디퓨즈 텍스쳐 정의부(23)에서는 위와 같은 과정을 통해 결정이 되고 남은 평면에 대해서 디퓨즈 텍스쳐(diffuse texture)로 결정을 한다(505). 이때, 디퓨즈 텍스쳐(diffuse texture)는 상기 디퓨즈 검사 과정(503)에서 디퓨즈(diffuse) 상수를 계산할 때 만들어진 디퓨즈 맵(diffuse map)을 그대로 사용함으로써 가능하다.Finally, the diffuse texture defining unit 23 is determined through the above process, and the diffuse texture is determined as a diffuse texture (505). At this time, the diffuse texture (diffuse texture) is possible by using the diffuse map (diffuse map) created when calculating the diffuse (diffuse) constant in the diffuse inspection process (503).
도 11 은 본 발명의 다른 실시예에 따른 입력 예를 나타낸다. 11 illustrates an input example according to another embodiment of the present invention.
상기 도 11을 입력으로 하여 생성한 디퓨즈 맵(diffuse map)은 도 12와 같다. A diffuse map generated by using FIG. 11 as an input is shown in FIG. 12.
또한, 상기 도 11을 입력으로 하여, 계산된 BRDF를 이용하여 다른 시점에서 본 영상을 렌더링한 결과는 도 13과 같다. 이때, 실제 물체를 제거한 영상은 도 14와 같다. 즉, 도 14에서는 상기 도 11에서 존재하는 물체를 제거한 결과를 보여준다. In addition, as a result of rendering the image viewed from another viewpoint using the calculated BRDF as the input of FIG. 11, is shown in FIG. 13. In this case, the image from which the real object is removed is shown in FIG. 14. That is, FIG. 14 shows the result of removing the object existing in FIG.
상기 도 11에서 가상의 물체를 추가하여 렌더링한 결과는 도 15와 같다. 이를 다른 환경에서 모델링한 물체를 렌더링한 결과는 도 16과 같다. The result of rendering by adding the virtual object in FIG. 11 is the same as FIG. 15. The result of rendering the object modeled in another environment is as shown in FIG. 16.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.The method of the present invention as described above may be implemented as a program and stored in a computer-readable recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
상기한 바와 같은 본 발명은, 한 장의 영상내에 있는 물체의 BRDF를 획득하고, 이를 이용하여 가상의 물체를 추가, 또는 실제 물체를 삭제, 그리고 다른 환경에서 렌더링할 수 있는 효과가 있다. 또한, 본 발명은 BRDF를 획득함에 있어서 필요로 하는 영상 수의 감소, 모델링 노력의 감소, 계산 시간 단축의 이점을 얻을 수 있는 효과가 있다. As described above, the present invention has the effect of acquiring a BRDF of an object in a single image, and using this, adding a virtual object, deleting a real object, and rendering in another environment. In addition, the present invention has the effect of reducing the number of images required to obtain the BRDF, reduction of modeling effort, reduction of the calculation time.
또한, 본 발명은 환경맵으로부터 빛의 정보를 얻어내고, 이를 이용하여 물체의 BRDF를 획득함으로써, 이렇게 획득된 BRDF를 이용하여 영상에 새로운 조명을 추가하거나 가상의 물체를 추가하는 것이 가능하고, 시점의 일관성 뿐만 아니라 조명의 일관성을 유지할 수 있는 효과가 있다. 이때, 주어진 모델 정보와 BRDF 그리고 빛정보를 이용하여 가상의 물체를 추가할 경우, 올바른 그림자를 만들어 내거나 올바른 반사를 표현할 수 있어, 가상의 공간에 3차원 물체를 매우 사실적으로 쉽게 추가할 수 있는 효과가 있다. In addition, the present invention obtains the information of the light from the environment map, and by using this to obtain the BRDF of the object, it is possible to add a new light to the image or add a virtual object using the obtained BRDF, It is effective to maintain the consistency of lighting as well as the consistency of lighting. In this case, when the virtual object is added by using the given model information, BRDF, and light information, it is possible to create the correct shadow or express the correct reflection, so that the 3D object can be very realistically easily added to the virtual space. There is.
도 1 은 종래의 BRDF 측정 장치(gonioreflectometer)의 구성 예시도.1 is an exemplary configuration diagram of a conventional BRDF measuring device (gonioreflectometer).
도 2 는 종래기술에 따라 Y.Yu가 제안한 방법에서 입력으로 사용한 영상 예시도.Figure 2 is an example of the image used as input in the method proposed by Y. Yu according to the prior art.
도 3 은 종래기술에 따라 Boivin이 제안하는 알고리즘을 나타낸 일예시도.Figure 3 is an exemplary view showing an algorithm proposed by Boivin in accordance with the prior art.
도 4 는 본 발명에 따른 역렌더링 장치의 일실시예 구성도.Figure 4 is a configuration diagram of one embodiment of a reverse rendering apparatus according to the present invention.
도 5 는 본 발명에 따른 역렌더링 방법에 대한 일실시예 흐름도.5 is a flowchart of an embodiment of a reverse rendering method according to the present invention;
도 6 은 본 발명에 이용되는 입력 모델 및 영상을 나타낸 일실시예 설명도.6 is a diagram illustrating an embodiment of an input model and an image used in the present invention.
도 7 은 본 발명의 일실시예에 이용되는 입력 환경맵을 나타낸 설명도.7 is an explanatory diagram showing an input environment map used in one embodiment of the present invention;
도 8 은 본 발명의 일실시예에 따라 상기 도 7의 환경맵을 필터링하여 획득한 필터링된 환경맵을 나타낸 설명도.8 is an explanatory diagram showing a filtered environment map obtained by filtering the environment map of FIG. 7 according to an embodiment of the present invention;
도 9 는 본 발명의 일실시예에 따라 생성된 디퓨즈 맵(diffuse map)을 나타낸 설명도.9 is an explanatory view showing a diffuse map generated according to an embodiment of the present invention.
도 10a 내지 10d 는 본 발명의 일실시예에 따라 그로시(glossy) 상수에 따른 오차가 감소하는 것을 보여주는 그래프를 나타낸 설명도.10A to 10D are explanatory diagrams showing a graph showing that an error according to a glossy constant is reduced according to an embodiment of the present invention.
도 11 은 본 발명에 이용되는 입력 모델 및 영상을 나타낸 다른 실시예 설명도.11 is an explanatory diagram of another embodiment showing an input model and an image used in the present invention.
도 12 는 본 발명의 다른 실시예에 따라 상기 도 11을 입력으로 하여 생성된 디퓨즈 맵(diffuse map)을 나타낸 설명도FIG. 12 is an explanatory diagram showing a diffuse map generated by inputting FIG. 11 according to another embodiment of the present invention; FIG.
도 13 은 본 발명의 다른 실시예에 따라 상기 도 11을 입력으로 하여 계산된 BRDF 파라미터들을 이용하여 다시 렌더링한 결과를 나타낸 설명도.FIG. 13 is an explanatory diagram showing a result of re-rendering using BRDF parameters calculated by using FIG. 11 as an input according to another embodiment of the present invention; FIG.
도 14 는 본 발명의 다른 실시예에 따라 상기 도 11에서 존재하는 물체를 제거한 결과를 보여주는 설명도.14 is an explanatory view showing a result of removing an object existing in FIG. 11 according to another embodiment of the present invention.
도 15 는 본 발명의 다른 실시예에 따라 상기 도 11에서 가상의 물체를 추가한 결과를 보여주는 설명도.FIG. 15 is an explanatory diagram showing a result of adding a virtual object in FIG. 11 according to another embodiment of the present invention; FIG.
도 16 은 본 발명의 다른 실시예에 따라 상기 도 11에서 물체를 가상의 다른 환경에서 렌더링한 결과를 보여주는 설명도.FIG. 16 is an explanatory diagram showing a result of rendering an object in another virtual environment in FIG. 11 according to another embodiment of the present invention; FIG.
도 17 은 본 발명의 실시예에 따라 샘플링할 때 반사벡터가 환경맵에 충돌하는 것만을 샘플링하는 것을 것을 보여주는 설명도.FIG. 17 is an explanatory diagram illustrating that only sampling of reflection vectors colliding with an environment map when sampling is performed according to an exemplary embodiment of the present invention; FIG.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
10 : 환경맵 필터 20 : BRDF 검사부10: environment map filter 20: BRDF inspection unit
21 : 디퓨즈 검사부 22 : 그로시 검사부21: diffuse inspection unit 22: glossy inspection unit
23 : 디퓨즈 텍스쳐 정의부23: diffuse texture definition
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0097797A KR100521413B1 (en) | 2003-12-26 | 2003-12-26 | Inverse rendering apparatus and method using filtered environment map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0097797A KR100521413B1 (en) | 2003-12-26 | 2003-12-26 | Inverse rendering apparatus and method using filtered environment map |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050066501A KR20050066501A (en) | 2005-06-30 |
| KR100521413B1 true KR100521413B1 (en) | 2005-10-17 |
Family
ID=37257574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2003-0097797A KR100521413B1 (en) | 2003-12-26 | 2003-12-26 | Inverse rendering apparatus and method using filtered environment map |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100521413B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9684991B2 (en) | 2013-05-08 | 2017-06-20 | Samsung Electronics Co., Ltd. | Image processing apparatus and method using photon mapping and ray tracing and increasing a rate of photon mapping |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100897006B1 (en) * | 2007-08-28 | 2009-05-14 | 중앙대학교 산학협력단 | Image synthesizer capable of compositing image by real-time and method thereof |
| KR101671185B1 (en) | 2010-03-22 | 2016-11-01 | 삼성전자주식회사 | Apparatus and method for extracting light and texture, and rendering apparatus using light and texture |
| KR20120091973A (en) | 2011-02-09 | 2012-08-20 | 삼성전자주식회사 | Expressing apparatus and method for realistic tooth |
| WO2017107190A1 (en) * | 2015-12-25 | 2017-06-29 | Intel Corporation | Unified environmental mapping framework |
| CN106331663B (en) * | 2016-08-26 | 2018-12-11 | 珠海金山网络游戏科技有限公司 | A kind of interaction material acquisition system and method for portable equipment |
| WO2020076026A1 (en) * | 2018-10-08 | 2020-04-16 | 한국과학기술원 | Method for acquiring three-dimensional object by using artificial lighting photograph and device thereof |
| KR102287472B1 (en) * | 2018-10-08 | 2021-08-09 | 한국과학기술원 | Acquisition Method for 3D Objects Using Unstructured Flash Photography and Apparatus Therefor |
| CN110823836A (en) * | 2019-08-14 | 2020-02-21 | 长春欧明科技有限公司 | Multi-angle test system for surface feature spectrum |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0863618A (en) * | 1994-08-25 | 1996-03-08 | Imeeji Joho Kagaku Kenkyusho | Image processor |
| JPH08123981A (en) * | 1994-10-25 | 1996-05-17 | Toyota Motor Corp | Computer graphics device |
| KR19990001780A (en) * | 1997-06-17 | 1999-01-15 | 윤종용 | How to detect light source direction from an image |
| JP2002117413A (en) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | Image generating device and image generating method for reflecting light source environmental change in real time |
-
2003
- 2003-12-26 KR KR10-2003-0097797A patent/KR100521413B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0863618A (en) * | 1994-08-25 | 1996-03-08 | Imeeji Joho Kagaku Kenkyusho | Image processor |
| JPH08123981A (en) * | 1994-10-25 | 1996-05-17 | Toyota Motor Corp | Computer graphics device |
| KR19990001780A (en) * | 1997-06-17 | 1999-01-15 | 윤종용 | How to detect light source direction from an image |
| JP2002117413A (en) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | Image generating device and image generating method for reflecting light source environmental change in real time |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9684991B2 (en) | 2013-05-08 | 2017-06-20 | Samsung Electronics Co., Ltd. | Image processing apparatus and method using photon mapping and ray tracing and increasing a rate of photon mapping |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050066501A (en) | 2005-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Haze visibility enhancement: A survey and quantitative benchmarking | |
| Meilland et al. | 3d high dynamic range dense visual slam and its application to real-time object re-lighting | |
| Yu et al. | Inverse global illumination: Recovering reflectance models of real scenes from photographs | |
| Jacobs et al. | Classification of illumination methods for mixed reality | |
| Patow et al. | A survey of inverse rendering problems | |
| TWI526983B (en) | System, method, and computer program product for performing path space filtering | |
| Li et al. | Physically-based editing of indoor scene lighting from a single image | |
| Jarosz et al. | Radiance caching for participating media | |
| US9401043B2 (en) | Photon beam diffusion | |
| CN107644453B (en) | Rendering method and system based on physical coloring | |
| Li et al. | Capturing relightable human performances under general uncontrolled illumination | |
| Baran et al. | A hierarchical volumetric shadow algorithm for single scattering | |
| GB2441228A (en) | Modelling an object and determination of how it is lit | |
| Dos Santos et al. | Real time ray tracing for augmented reality | |
| Wei et al. | Object-based illumination estimation with rendering-aware neural networks | |
| KR100521413B1 (en) | Inverse rendering apparatus and method using filtered environment map | |
| Yu et al. | Recovering shape and reflectance model of non-lambertian objects from multiple views | |
| Alhakamy et al. | Real-time illumination and visual coherence for photorealistic augmented/mixed reality | |
| Logothetis et al. | Near-field photometric stereo in ambient light | |
| De Rousiers et al. | Real-time rendering of rough refraction | |
| Kán et al. | High-quality consistent illumination in mobile augmented reality by radiance convolution on the gpu | |
| Fan et al. | Factored-neus: Reconstructing surfaces, illumination, and materials of possibly glossy objects | |
| Kang et al. | View-dependent scene appearance synthesis using inverse rendering from light fields | |
| Kolivand et al. | A quadratic spline approximation using detail multi-layer for soft shadow generation in augmented reality | |
| Noh et al. | Soft shadow rendering based on real light source estimation in augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20081001 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |