KR101028697B1 - Apparatus and method for luminace independent texure synthesis - Google Patents

Apparatus and method for luminace independent texure synthesis Download PDF

Info

Publication number
KR101028697B1
KR101028697B1 KR1020080136591A KR20080136591A KR101028697B1 KR 101028697 B1 KR101028697 B1 KR 101028697B1 KR 1020080136591 A KR1020080136591 A KR 1020080136591A KR 20080136591 A KR20080136591 A KR 20080136591A KR 101028697 B1 KR101028697 B1 KR 101028697B1
Authority
KR
South Korea
Prior art keywords
image
brightness
texture
composite image
patches
Prior art date
Application number
KR1020080136591A
Other languages
Korean (ko)
Other versions
KR20100078353A (en
Inventor
김창헌
이성호
박한욱
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080136591A priority Critical patent/KR101028697B1/en
Publication of KR20100078353A publication Critical patent/KR20100078353A/en
Application granted granted Critical
Publication of KR101028697B1 publication Critical patent/KR101028697B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

밝기 독립적인 텍스쳐 합성 장치 및 방법이 개시된다. 영상합성부는 주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기의 상대적인 변화값으로 표현되는 밝기 불변 도메인으로 변환한 후 패치들 사이의 정합 에러가 가장 작은 패치들이 서로 이웃하도록 결합하여 합성 영상을 생성한다. 영상보정부는 합성 영상 및 예제 텍스쳐를 밝기 불변 도메인으로 변환한 후 예제 텍스쳐 내의 점 중에서 합성 영상 내의 임의의 점에 이웃하는 이웃 픽셀들과 대응하는 이웃 픽셀들 사이의 이웃 거리가 최소가 되도록 하는 점에 의해 합성 영상을 보정한다. 본 발명에 따르면, 각 패치들의 밝기와 관계없이 일관성 있는 이웃을 찾을 수 있으며, 가시적인 단절이 적고 기존 기법보다 높은 동적 영역을 갖는 결과를 얻을 수 있다. Brightness independent texture synthesizing apparatus and methods are disclosed. The image synthesis unit converts the patches obtained from the given example texture into the brightness invariant domain represented by the relative change in brightness, and then combines the patches having the smallest matching error among the patches so as to neighbor each other to generate a composite image. Image correction converts the composite image and the example texture into a brightness invariant domain and then minimizes the neighboring distances between neighboring pixels and corresponding neighboring pixels at any point in the composite image among the points in the example texture. To correct the composite image. According to the present invention, a consistent neighbor can be found regardless of the brightness of each patch, resulting in fewer visible disconnections and a higher dynamic range than the conventional technique.

텍스쳐 합성, 텍스쳐, 밝기, 깊이 맵, 예제 Texture Compositing, Textures, Brightness, Depth Maps, Examples

Description

밝기 독립적인 텍스쳐 합성 장치 및 방법{Apparatus and method for luminace independent texure synthesis}Apparatus and method for luminace independent texure synthesis

본 발명은 텍스쳐 합성 장치 및 방법에 관한 것으로, 보다 상세하게는, 예제 기반의 텍스쳐 합성 장치 및 방법에 관한 것이다.The present invention relates to a texture synthesizing apparatus and method, and more particularly, to an example-based texture synthesizing apparatus and method.

지금까지 이루어진 텍스쳐 합성에 관한 연구는 크게 매개변수를 이용한 방법(Parametric Approach)과 예제에 기반한 방법(Example-based Approach)으로 나눌 수 있다. 텍스쳐는 일반적으로 어떠한 객체가 지닌 특유한 재질감을 말한다.The researches on texture synthesis thus far can be divided into parametric method and example-based method. Textures generally refer to the unique texture of an object.

매개변수를 기반으로 한 방법은 주어진 몇 가지의 변수를 미리 정해진 함수에 입력하여 나온 결과를 바탕으로 텍스쳐를 합성하는 방법으로서, 합성에 필요한 입력의 정보량이 적어 용량에서의 이득을 얻을 수 있으며, 어떠한 재질에 대해 잘 만들어진 합성 함수가 존재한다면 그에 대해 꽤 자연스러운 결과를 비교적 빠른 시간에 얻어낼 수 있다는 장점이 있다. 그러나 각 생성 함수는 특정 종류의 재질에 맞추어져 만들어져 있기 때문에 범용적인 합성에는 사용하기 어려운 문제점이 있다. 매개변수 기반의 방법은 주로 구조성을 가지지 않은, 통계적 불규칙성을 가진 텍스쳐의 합성에 이용된다. The parameter-based method is a method of synthesizing a texture based on the result of inputting several given variables into a predetermined function. If there is a well-made composite function for a material, the advantage is that it can produce fairly natural results in a relatively short time. However, since each generation function is made for a specific kind of material, it is difficult to use for general purpose synthesis. The parameter-based method is mainly used for the synthesis of textures with statistical irregularities that are not structural.

예제를 기반으로 한 텍스쳐 합성은 입력으로 하나의 이미지를 사용하는데, 매개변수 기반보다 좀 더 일반적인 경우에서 사용이 가능하며 결과의 품질도 뛰어나다. 예제 기반 텍스쳐 합성 기법에 의해 얻어진 결과적인 합성 영상은 텍스쳐 매핑 또는 지형 생성에 사용될 수 있다. 이러한 예제 기반 텍스쳐 합성 기법과 관련하여 반복적인 결함의 제거, 연산 비용의 절감 및 텍스쳐 합성의 사용자 제어에 대해 많은 연구가 진행되어 왔다. Example-based texture synthesis uses an image as input, which can be used in more general cases than parameter-based, and the quality of the results is excellent. The resulting composite image obtained by example-based texture synthesis can be used for texture mapping or terrain generation. In connection with such example-based texture synthesis, much research has been conducted on the elimination of repetitive defects, the reduction of computational cost, and the user control of texture synthesis.

한편 각 픽셀의 절대 색상값이 전체 텍스쳐 구조보다 덜 중요한 많은 텍스쳐가 존재한다. 이때 포획된 텍스쳐 영상의 밝기는 장면의 광원, 인근 사물로부터의 주변광 및 노출에 의해 영향받는다. 그러므로 동일한 물리적 텍스쳐의 사진이라 할지라도 텍스쳐 획득상황에 따라 매우 다른 밝기값을 가질 수 있다. 그러나 대부분의 텍스쳐 합성 기법들은 예제의 밝기 변화를 고려하지 않으며, 이는 두 개의 텍스쳐 패치들이 상이한 밝기값을 가지면 비록 유사하게 보일지라도 이들은 다른 것으로 고려됨을 의미한다. On the other hand, there are many textures in which the absolute color value of each pixel is less important than the overall texture structure. At this time, the brightness of the captured texture image is affected by the light source of the scene, ambient light from nearby objects, and exposure. Therefore, even photographs of the same physical texture may have very different brightness values depending on the texture acquisition situation. However, most texture compositing techniques do not consider the change in brightness of the example, which means that if two texture patches have different brightness values, they will be considered different, even though they look similar.

이러한 문제의 본질은 디지털 깊이 맵(Digital Elevation Map : DEM)을 합성할 때 보다 명확해진다. 도 1에 도시된 예제는 오른쪽 상위 지역에서 가장 높은 밝기 강도를 갖는다. 이러한 높은 부분은 이미지의 오른쪽 상단에 위치하기 때문에 남쪽과 서쪽으로 갈수록 점차 낮아지는 패치를 얻을 수 있지만, 북쪽과 동쪽으로는 이렇게 점차 변화하는 패치가 존재하지 않는다. 따라서 단지 색상 차이만을 고려하는 종래의 알고리즘은 이 경우 적절하게 변화하는 이웃을 찾을 수 없으며, 이는 결과적으로 DEM에 중대한 단절이 나타나는 것을 피할 수 없게 만든다. 도 2a 및 2b에 는 종래의 텍스쳐 합성 기법에 의해 얻어진 DEM이 도시되어 있으며, 도 3에는 도 2a에 도시된 DEM으로부터 렌더링된 영상이 도시되어 있다. 도 3에서 알 수 있듯이 부분적인 단절이 존재하는 DEM으로부터 렌더링된 영상에는 예상치 못한 절벽이 나타나게 된다.The essence of this problem becomes clearer when synthesizing the Digital Elevation Map (DEM). The example shown in FIG. 1 has the highest brightness intensity in the upper right region. Since this high part is located in the upper right corner of the image, you get a patch that gradually decreases toward the south and west, but there are no patches that change gradually in the north and east. Thus, conventional algorithms that only consider color differences do not find appropriately changing neighbors in this case, which inevitably results in significant breaks in the DEM. 2A and 2B show a DEM obtained by a conventional texture synthesis technique, and FIG. 3 shows an image rendered from the DEM shown in FIG. 2A. As can be seen in FIG. 3, an unexpected cliff appears in an image rendered from a DEM having a partial break.

예제 기반 2차원(2-Dimension : 2D) 텍스쳐 합성 기법은 사용되는 합성 방법에 따라 패치 기반, 이웃 매칭 및 타일링으로 분류될 수 있다. 르페브르(Sylvain Lefebvre) 등의 "병렬 제어가능한 텍스쳐 합성"이라는 논문에는 이러한 세 가지 분류에 대해 잘 기술되어 있다. 병렬처리와 공간적 결정기법은 GPU(Graphic Process Unit)를 사용하여 합성 시간을 크게 줄일 수 있고, 시각창에서 영상의 부분이 요구에 따라 합성될 수 있기 때문에 중요하다. 많은 알고리즘들은 공간적으로 결정론적이며, 병렬처리가 가능하다. Example-based two-dimensional (2D) texture synthesis techniques can be classified into patch-based, neighbor matching and tiling according to the synthesis method used. The paper entitled "Parallel-Controlled Texture Synthesis" by Sylvein Lefebvre et al. Describes these three classifications well. Parallel processing and spatial decision techniques are important because the synthesis time can be greatly reduced by using a GPU (Graphic Process Unit), and the part of the image in the visual window can be synthesized on demand. Many algorithms are spatially deterministic and parallelizable.

한편 입력 영상으로부터 추출한 그래디언트 필드에 의해 영상을 편집하는 기법을 적용하면 통상적으로 밝기와 색상 톤의 차이에 영향을 덜 받으며, 따라서 상이한 톤의 영상 패치들을 단절없이 합성할 수 있다. 조우(Zhou) 등은 이러한 기법을 DEM 합성에 적용하였다. 이들은 그래프 컷 텍스쳐로 DEM을 합성하고, 단절 결함을 그래디언트 도메인 영상 편집 기법으로 은닉한다. 그러나 편집된 그래디언트 필드를 생채 영상으로 변환하기 위해서는 포아송 방정식의 해를 구하는 것과 같은 전역적인 연산이 요구된다. 이는 일반적으로 연산에 오랜 시간이 소요되며, 연산이 시각 창에 대해 필요한 결과를 산출하는 것에 한정되지 못한다는 문제가 있다. 또한 한(Han) 등은 예제 기반 텍스쳐 합성에서 톤과 밝기의 문제에 대해 언급하였다. 그러나 이들은 단지 상이한 예제들에 대해서만 고려하였으며, 동일한 크기 레벨을 갖는 가우시안 스택 예제 사이의 톤 차이를 보상하지는 않았다. On the other hand, if a technique of editing an image by a gradient field extracted from an input image is applied, it is generally less affected by the difference in brightness and color tones, and thus it is possible to synthesize image patches of different tones without disconnection. Zhou et al. Applied this technique to DEM synthesis. They synthesize DEMs with graph cut textures and conceal break defects with gradient domain image editing techniques. However, in order to convert the edited gradient field into a raw image, global operations such as solving the Poisson equation are required. This generally takes a long time to compute and has the problem that the computation is not limited to producing the necessary results for the visual window. Han et al. Also addressed the issue of tone and brightness in example-based texture synthesis. However, they only considered different examples and did not compensate for the tone difference between Gaussian stack examples with the same size level.

본 발명이 이루고자 하는 기술적 과제는, 획득상황에 따라 매우 다른 밝기값을 가진 텍스쳐들의 밝기와 관계없이 일관성 있는 이웃 패치들을 검색하여, 검색된 이웃 패치들에 의해 단절없는 합성 영상을 생성할 수 있는 텍스쳐 합성 장치 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to synthesize a texture that can generate a seamless image by searching for neighboring patches consistent with the neighboring patches irrespective of the brightness of textures having very different brightness values according to the acquisition situation. An apparatus and method are provided.

본 발명이 이루고자 하는 다른 기술적 과제는, 획득상황에 따라 매우 다른 밝기값을 가진 텍스쳐들의 밝기와 관계없이 일관성 있는 이웃 패치들을 검색하여, 검색된 이웃 패치들에 의해 단절없는 합성 영상을 생성할 수 있는 텍스쳐 합성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is to search for neighboring patches that are consistent regardless of the brightness of textures having very different brightness values according to acquisition conditions, and to generate a texture that can be seamlessly made by the searched neighboring patches. The present invention provides a computer-readable recording medium having recorded thereon a program for executing a synthesis method on a computer.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 텍스쳐 합성 장치는, 주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기의 상대적인 변화값으로 표현되는 밝기 불변 도메인으로 변환한 후 패치들 사이의 정합 에러가 가장 작은 패치들이 서로 이웃하도록 결합하여 합성 영상을 생성하는 영상합성부; 및 상기 합성 영상 및 상기 예제 텍스쳐를 상기 밝기 불변 도메인으로 변환한 후 예제 텍스쳐 내의 점 중에서 상기 합성 영상 내의 임의의 점에 이웃하는 이웃 픽셀들과 대응하는 이웃 픽셀들 사이의 이웃 거리가 최소가 되도록 하는 점에 의해 상기 합성 영상을 보정하는 영상보정부;를 구비한다.In order to achieve the above technical problem, the texture synthesizing apparatus according to the present invention converts patches obtained from a given example texture into a brightness invariant domain represented by a relative change in brightness, and then has the smallest matching error between the patches. An image synthesizing unit for combining the neighbors to generate a synthetic image; And converting the composite image and the example texture into the brightness invariant domain so that the neighbor distance between neighboring pixels corresponding to an arbitrary point in the composite image and corresponding neighboring pixels among the points in the example texture is minimized. And an image correction unit for correcting the composite image by a dot.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 텍스쳐 합성 방법은, 주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기의 상대적인 변화값으로 표현되는 밝기 불변 도메인으로 변환한 후 패치들 사이의 정합 에러가 가장 작은 패치들이 서로 이웃하도록 결합하여 합성 영상을 생성하는 영상합성단계; 및 상기 합성 영상 및 상기 예제 텍스쳐를 상기 밝기 불변 도메인으로 변환한 후 예제 텍스쳐 내의 점 중에서 상기 합성 영상 내의 임의의 점에 이웃하는 이웃 픽셀들과 대응하는 이웃 픽셀들 사이의 이웃 거리가 최소가 되도록 하는 점에 의해 상기 합성 영상을 보정하는 영상보정단계;를 갖는다.In order to achieve the above technical problem, the texture synthesis method according to the present invention converts the patches obtained from a given example texture into a brightness invariant domain represented by a relative change in brightness and then has the smallest matching error between the patches. An image synthesis step of combining the patches to be adjacent to each other to generate a composite image; And converting the composite image and the example texture into the brightness invariant domain so that the neighbor distance between neighboring pixels corresponding to an arbitrary point in the composite image and corresponding neighboring pixels among the points in the example texture is minimized. And an image correction step of correcting the composite image by a dot.

본 발명에 따른 텍스쳐 합성 장치 및 방법에 의하면, 크게 변하는 밝기를 가진 시각적으로 유사한 텍스쳐를 합성할 수 있다. 또한 본 발명에 따른 텍스쳐 합성 장치 및 방법은 대부분의 예제로부터 텍스쳐의 합성에 사용될 수 있으며, DEM 영상과 같이 큰 밝기 변화를 갖는 경우에 보다 양호한 효과를 보인다. 특히 견본 텍스쳐를 획득할 때의 조명 환경은 항상 이상적이지는 않기 때문에 본 발명은 예제 전체에 결쳐 광범위한 밝기변화에 기인하여 예제 기반 텍스쳐 합성이 양호하지 않은 경우에도 텍스쳐 예제의 합성이 가능하다는 이점이 있다.According to the texture synthesizing apparatus and method according to the present invention, it is possible to synthesize visually similar textures having greatly varying brightness. In addition, the texture synthesizing apparatus and method according to the present invention can be used for the synthesis of textures from most examples, and shows a better effect in the case of having a large brightness change, such as a DEM image. In particular, since the lighting environment when acquiring the swatch texture is not always ideal, the present invention has the advantage that the synthesis of the texture example is possible even if the example-based texture composition is not good due to the wide range of brightness changes due to the entire example. .

이하에서 첨부의 도면들을 참조하여 본 발명에 따른 텍스쳐 합성 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of the texture synthesizing apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명에 따른 텍스쳐 합성 장치의 바람직한 실시예의 구성을 도시 한 블록도이다.Figure 4 is a block diagram showing the configuration of a preferred embodiment of a texture synthesizing apparatus according to the present invention.

도 4를 참조하면, 본 발명에 따른 텍스쳐 합성 장치는, 영상합성부(410), 영상보정부(420) 및 밝기보상부(430)를 구비한다.Referring to FIG. 4, the texture synthesizing apparatus according to the present invention includes an image synthesizer 410, an image compensator 420, and a brightness compensator 430.

영상합성부(410)는 주어진 예제 텍스쳐로부터 얻어진 패치들을 결합하여 합성 영상을 생성한다. 합성 영상을 구성하는 예제 텍스쳐는 도 1에 도시된 바와 같으며, 각각의 패치는 예제 텍스쳐로부터 추출된다. 이때 영상합성부(410)는 패치들 사이의 결합 에러가 가장 작은 패치들을 서로 이웃하도록 결합한다. 종래의 텍스쳐 합성 기법에서는 일반적으로 거리 제곱의 합에 의해 이웃하는 패치들의 결합 에러는 산출하며, 이는 다음의 수학식과 같다. The image synthesizer 410 combines the patches obtained from the given example texture to generate a composite image. An example texture constituting the composite image is as shown in FIG. 1, and each patch is extracted from the example texture. At this time, the image synthesizing unit 410 combines the patches having the smallest coupling error between the patches so as to neighbor each other. In the conventional texture synthesis technique, the coupling error of neighboring patches is generally calculated by the sum of the squared distances, which is expressed by the following equation.

Figure 112008090359075-pat00001
Figure 112008090359075-pat00001

여기서, N E [p]는 예제 E 내의 점 p 주변의 이웃 픽셀들을 포함하는 벡터이고, N E [q]는 예제 E 내의 점 p 주변의 이웃 픽셀들을 포함하는 벡터이다.Where N E [ p ] is a vector containing neighboring pixels around point p in Example E, and N E [ q ] is a vector containing neighboring pixels around point p in Example E.

그러나 수학식 1에 의해 산출된 결합 에러에 의해 이웃하는 패치들을 결정하여 합성을 수행할 경우에 도 5a에 도시된 바와 같이 패치들의 경계영역에서 밝기의 변화가 초래된다. 이러한 문제를 해결하기 위해 본 발명에 따른 텍스쳐 합성 장치의 영상합성부(410)는 패치들을 밝기 불변 도메인으로 변환한 후 이웃하는 패치들 사이의 결합 에러를 산출한다. 이때 밝기 불변 도메인으로의 변환은 각각의 패치들에 대해 상대적인 밝기변화만을 고려하기 위한 것으로, 도 5a에 도시된 바와 같은 밝기 값을 갖는 이웃 픽셀들을 도 5b에 도시된 바와 같이 상대적인 강도만을 나타내도록 하는 과정이다. 이와 같은 밝기 불변 도메인으로의 변환은 두 개의 패치 N E [p]와 N E [q] 사이의 에러값은 크게 감소하며, 도 6a 및 도 6b에 도시된 고원 상의 패치들이 어느 하나가 보다 낮은 평평한 영역을 가진다 해도 유사한 것으로 고려될 수 있으며, 따라서 이들은 단절없이 합성될 수 있다. 한편 포아송 방정식의 해를 푸는 방식의 텍스쳐 합성 기법은 밝기에 독립적인 합성이 가능하게 하지만, 공간 결정성(Spatial Determinsm)을 보장하지 못하기 때문에 전체 합성 영역 중에서 보여지는 부분만을 계산하는 방식에 응용할 수 없는 문제가 있다. 이러한 문제를 해결하여 공간 결정성을 보장하기 위해 본 발명에 따른 텍스쳐 합성 장치의 영상합성부(410)는 다음의 수학식에 의해 결합 에러를 산출하게 된다.However, when synthesis is performed by determining neighboring patches by the combining error calculated by Equation 1, a change in brightness is caused in the boundary region of the patches as shown in FIG. 5A. To solve this problem, the image synthesis unit 410 of the texture synthesizing apparatus according to the present invention converts the patches into brightness constant domains and then calculates a coupling error between neighboring patches. At this time, the conversion to the brightness constant domain is to consider only the relative brightness change for each of the patches, so that neighboring pixels having a brightness value as shown in FIG. 5A to show only relative intensity as shown in FIG. 5B. It is a process. This conversion to the brightness constant domain greatly reduces the error value between the two patches N E [ p ] and N E [ q ], with the lower plateau flat patches shown in FIGS. 6A and 6B being either flatter or lower. Even if they have regions, they can be considered similar, and thus they can be synthesized without disconnection. On the other hand, the texture synthesis method, which solves the Poisson equation, enables brightness-independent synthesis, but it does not guarantee spatial determinism, so it can be applied to the method of calculating only the visible part of the total synthesis region. There is no problem. In order to solve this problem and to ensure spatial determinism, the image synthesis unit 410 of the texture synthesizing apparatus according to the present invention calculates a coupling error by the following equation.

Figure 112008090359075-pat00002
Figure 112008090359075-pat00002

여기서,

Figure 112008090359075-pat00003
와
Figure 112008090359075-pat00004
는 각각 밝기 불변 도메인으로 변환된 예제 E 내의 점 p와 q 주변의 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112008090359075-pat00003
Wow
Figure 112008090359075-pat00004
Is a vector containing neighboring pixels around points p and q in Example E, each transformed into a brightness constant domain.

수학식 2에서 밝기 불변 도메인으로의 변환은 스칼라 값, 즉

Figure 112008090359075-pat00005
에 의한 간단한 해석으로 가정하고, N E 의 평균값으로 μ E 를 취하면 수학식 2가 최소화되며, 그 이유는 다음과 같다.In Equation 2, the conversion to the brightness constant domain is a scalar value, i.e.
Figure 112008090359075-pat00005
Assuming a simple interpretation by, and taking μ E as the average value of N E , Equation 2 is minimized.

도메인 a로부터 b까지에서 정의된 두 개의 함수 f(x)와 g(x) 사이의 밝기 독 립 거리를 산출하기 위해 오프셋 상수 c를 도입하면 거리는 다음의 수학식으로 정의될 수 있다.If the offset constant c is introduced to calculate the brightness independence distance between two functions f (x) and g (x) defined in domains a to b, the distance may be defined by the following equation.

Figure 112008090359075-pat00006
Figure 112008090359075-pat00006

밝기에 독립적인 거리 측정은 수학식 3의 거리 D를 최소화하는 상수 c를 구하는 것으로 모델링될 수 있다. 수학식 3은 2차식의 형태이므로, c의 최소값은 다음의 수학식에 의해 계산될 수 있다.Brightness-independent distance measurements can be modeled by finding a constant c that minimizes the distance D in equation (3). Since Equation 3 is a quadratic form, the minimum value of c may be calculated by the following equation.

Figure 112008090359075-pat00007
Figure 112008090359075-pat00007

여기서, μf는 함수 f의 평균값이고, μg는 함수 g의 평균값이다. Where μ f is the mean value of the function f and μ g is the mean value of the function g.

수학식 4를 수학식 3에 대입하면 다음의 수학식을 얻을 수 있다.Substituting Equation 4 into Equation 3 provides the following equation.

Figure 112008090359075-pat00008
Figure 112008090359075-pat00008

여기서,

Figure 112008090359075-pat00009
이고,
Figure 112008090359075-pat00010
이다.here,
Figure 112008090359075-pat00009
ego,
Figure 112008090359075-pat00010
to be.

수학식 5로부터 이웃의 평균을 이웃 거리 오프셋으로 선택하면 거리 제곱 합의 최소값을 얻을 수 있음을 알 수 있다. 수학식 3 내지 수학식 5에서 연속적인 스칼라 함수를 상정하였지만, 이는 불연속적인 벡터 함수에도 동일하게 적용할 수 있다.It can be seen from Equation 5 that if the average of the neighbors is selected as the neighbor distance offset, the minimum value of the sum of the squared distances can be obtained. Although a continuous scalar function is assumed in Equations 3 to 5, the same applies to discontinuous vector functions.

이상의 결과로부터 NE의 평균으로 μE를 취하면 수학식 2를 최소화할 수 있으며, 이에 의해 전체적인 계산이 간단화되면서 양호한 결과를 얻을 수 있다.By taking μ E as the average of N E from the above results, Equation 2 can be minimized, whereby a good result can be obtained while simplifying the overall calculation.

영상보정부(420)는 합성된 영상 N S 의 점 p의 이웃 픽셀들과 예제 텍스쳐 N E 의 점 q의 대응되는 이웃 픽셀들 사이의 최소 차이에 대응하는 후보 q를 검색한다. 그리고 영상보정부(420)는 검색된 후보 q에 의해 합성된 영상을 보정한다. 이때 영상보정부(420)는 종래의 텍스쳐 합성 기법과 달리 최소 차이를 다음의 수학식으로 표현되는 밝기 독립 이웃 거리로 측정한다.Image correction 420 retrieves the candidate q corresponding to the minimum difference between neighboring pixels of point p of synthesized image N S and corresponding neighboring pixels of point q of example texture N E. The image correction unit 420 then corrects the image synthesized by the retrieved candidate q. In this case, unlike the conventional texture synthesis method, the image compensator 420 measures the minimum difference as the brightness independent neighbor distance represented by the following equation.

Figure 112008090359075-pat00011
Figure 112008090359075-pat00011

여기서,

Figure 112008090359075-pat00012
와
Figure 112008090359075-pat00013
는 각각 밝기 불변 도메인으로 변환된 합성 영상 내의 점 p와 예제 E 내의 q 주변의 대응하는 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112008090359075-pat00012
Wow
Figure 112008090359075-pat00013
Is a vector containing corresponding neighboring pixels around point p in the composite image and q in example E, each transformed into a brightness constant domain.

이러한 계량을 적절하게 하기 위해, 본 발명에서는 RGB 채널 영상 E를 다른 공간(즉, 공간 투영된 2채널 PCA 또는 표현(appearance) 공간)으로 투영하지 않는 다. 이때 k-연관 검색 알고리즘을 이용하면 사전 연산에 의해 보다 신속하게 연관 패치를 찾을 수 있다. 본 발명에서는 수학식 2와 같은 새로운 거리 방정식에 의해 연관 패치를 사전에 연산함으로써 동일한 최적화를 얻을 수 있다.In order to make this metering appropriate, the present invention does not project the RGB channel image E into another space (ie, a spatially projected two-channel PCA or appearance space). In this case, the k-association search algorithm can be used to find the associated patch more quickly by pre-computation. In the present invention, the same optimization can be obtained by pre-computing an associative patch with a new distance equation such as Equation (2).

밝기보상부(430)는 합성 영상을 오프셋 영상과 결합하여 최종적인 합성 영상을 생성한다. 본 발명에서의 밝기보상과정은 기본적으로 르페브르 등이 2005년에 발표한 "병렬 제어 텍스쳐 합성"이란 제목의 논문에 기재된 텍스쳐 합성 기법(이하, '종래기술 1'이라 함)을 기반으로 한다. 종래기술 1은 텍스쳐 합성의 병렬처리를 위해 열악한 단계로부터 양호한 단계의 순서로 영상 피라미드 S0, S1, …, SL,(여기서, SL=S이고, L=log2 m)을 생성한다. 그리고 각각의 피라미드 레벨에 대해 업샘플링, 지터 및 정정을 수행한다. 도 7에는 각각의 피라미드 레벨에서 합성의 세 가지 처리의 수행과정이 도시되어 있다. 도 7을 참조하면, 종래기술 1은 업샘플링시 보다 양호한 영상을 생성하기 위해 개별적인 합성 경로를 사용하기 보다는 부모 픽셀의 좌표를 단순히 업샘플링한다. 이때 네 개의 자식 픽셀 각각에 부모 픽셀의 좌표에 자식 픽셀에 따른 오프셋을 더하여 할당한다. 다음으로 공간 결정성에 무작위성을 부여하기 위해 해쉬 함수와 사용자가 설정한 레벨별 랜덤 변수를 곱한 지터 함수에 의해 각각의 레벨에서 업샘플링된 좌표를 섞는다. 마지막으로 정정 처리 과정에서 지터 처리된 좌표를 취하고, 이들을 예제의 대응되는 이웃 픽셀과 유사하게 이웃 픽셀들을 재생성한다. 이때 출력 픽셀들은 정정된 이웃들을 동시에 고려할 수 없기 때문에 양호한 결과를 얻기 위해서는 각각의 레벨에서 이웃 매칭의 몇가지 경로들이 필수적으로 요구된다. The brightness compensator 430 combines the composite image with the offset image to generate a final composite image. The brightness compensation process in the present invention is basically based on the texture synthesis technique described in the paper entitled "Parallel Control Texture Synthesis" published in 2005 by LeFev et al. (Hereinafter referred to as "prior art 1"). Prior art 1 describes image pyramids S 0 , S 1 ,... In order from poor to good for parallel processing of texture synthesis. , S L , where S L = S and L = log 2 m . Then upsample, jitter and correct for each pyramid level. 7 shows the performance of the three processes of synthesis at each pyramid level. Referring to FIG. 7, Prior Art 1 simply upsamples the coordinates of the parent pixel rather than using separate synthesis paths to produce a better image during upsampling. At this time, the four child pixels are allocated by adding an offset according to the child pixels to the coordinates of the parent pixel. Next, in order to give randomness to the spatial determinism, the upsampled coordinates are mixed at each level by a jitter function multiplied by a hash function and a random variable for each level set by the user. Finally, we take the jittered coordinates in the correction process and recreate the neighboring pixels similar to the corresponding neighboring pixels in the example. Since the output pixels cannot take into account the corrected neighbors at the same time, several paths of neighbor matching are necessary at each level to obtain good results.

도 8에는 도 6a에 도시된 DEM을 기초로 렌더링된 영상이 도시되어 있다. 본 발명에 따른 텍스쳐 합성 장치는 밝기에 독립적으로 이웃 패치를 매칭하므로, 밝기 차이를 가지고 있는 패치들을 함께 결합할 수 있다. 그러나 이는 합성 영상 N S 에 바람직하지 않은 밝기 차이를 낳을 수 있으므로, 정정 단계의 결과가 악화될 수 있다. 즉, 종래기술 1과 같이 업샘플링, 지터 및 정정과정을 수행하면, 업샘플링 절차에서 패치들의 경계영역에서 밝기의 변화가 발생하는 문제가 있다. 따라서 본 발명에서는 이러한 문제를 해결하기 위해 오프셋 영상의 업샘플링 절차에서 패치들을 밝기 불변 도메인으로 변환한 후 최소 이웃 거리를 산출한다. 이를 위해 먼저 본 발명은 패치들의 경계영역에서의 밝기 차이를 보상하기 위해 단일 채널 오프셋 영상 F와 합성 영상 E*S를 결합한 표현 영상(appearance image) A를 정의한다. 표현 영상 A를 수학식으로 나타내면 다음과 같다.FIG. 8 illustrates an image rendered based on the DEM illustrated in FIG. 6A. Since the texture synthesizing apparatus according to the present invention matches neighboring patches independently of brightness, it is possible to combine patches having brightness differences together. However, this may cause undesirable brightness differences in the synthesized image N S , so that the result of the correction step may deteriorate. That is, when the upsampling, jitter and correction processes are performed as in the prior art 1, there is a problem that a change in brightness occurs in the boundary region of the patches in the upsampling procedure. Therefore, in the present invention, in order to solve this problem, the minimum neighbor distance is calculated after converting the patches into the brightness constant domain in the upsampling procedure of the offset image. To this end, the present invention first defines an appearance image A that combines a single channel offset image F and a composite image E * S to compensate for the difference in brightness in the boundary region of patches. Representation image A is represented as follows.

Figure 112008090359075-pat00014
Figure 112008090359075-pat00014

도 9에는 오프셋 영상 F와 합성 영상 E*S를 결합하여 표현 영상 A를 생성하는 과정이 도시되어 있다. 이러한 표현 영상 A는 이웃 거리

Figure 112008090359075-pat00015
를 생성하는 보정 단계에서 사용된다. 이때
Figure 112008090359075-pat00016
는 표현 영상 A의 밝기 독립 이웃이다.
Figure 112008090359075-pat00017
는 사전에 계산될 수 있으나,
Figure 112008090359075-pat00018
는 실시간으로 계산하여야 한다. 그 러나 예제 E에서 각 픽셀의 밝기는 사전에 계산할 수 있으므로, 이웃 픽셀을 5×5(픽셀) 내에서 결정할 경우에 μA의 평가는 25개 숫자의 평균이 된다. 9 illustrates a process of generating the representation image A by combining the offset image F and the composite image E * S. This representation image A is the neighbor distance
Figure 112008090359075-pat00015
It is used in the calibration step to generate the. At this time
Figure 112008090359075-pat00016
Is the brightness independent neighbor of the representation image A.
Figure 112008090359075-pat00017
May be calculated in advance,
Figure 112008090359075-pat00018
Should be calculated in real time. However, in Example E , the brightness of each pixel can be precomputed, so that if we determine the neighboring pixels within 5 x 5 (pixels), the evaluation of μ A is the average of 25 numbers.

이와 같이 본 발명에 있어서 상이한 패치들 사이의 밝기 차이는 합성 영상에 오프셋 F를 합성하여 보상된다. 이를 위해 밝기보상부(430)는 업샘플링과 정정 과정을 사용하여 오프셋 F의 합성을 수행한다. 레벨 0에서, F0는 0에서 시작되며, E*S에 어떠한 바이어스도 걸리지 않는다. 합성 영상 S가 업샘플링되면, 오프셋 영상 F 역시 최근접 이웃 기법에 의해 업샘플링된다. 이때 표현 영상 A로부터 취해진 패치에 존재하는 픽셀은 동일한 오프셋값을 가짐이 보장된다. 이와 달리 다른 보간 기술(즉, 바이 리니어 또는 바이 큐빅)은 패치 경계에서 그렇지 않다. 이때 최근접 이웃 업셈플링에 기인한 에일리어싱(aliasing) 패턴은 정정 과정에서 제거된다. 정정 과정에서, 오프셋 영상 F 역시 합성 영상 S의 갱신된 픽셀이 이웃들과 단절없이 통합됨을 보장하기 위해 갱신되어야 한다.As such, in the present invention, the brightness difference between different patches is compensated by synthesizing the offset F in the synthesized image. To this end, the brightness compensator 430 synthesizes the offset F using upsampling and correction. At level 0, F 0 starts at 0 and no bias is applied to E * S. If the composite image S is upsampled, the offset image F is also upsampled by the nearest neighbor technique. At this time, the pixels present in the patch taken from the representation image A are guaranteed to have the same offset value. In contrast, other interpolation techniques (ie bilinear or bicubic) are not at patch boundaries. In this case, an aliasing pattern due to the nearest neighbor upsampling is removed in the correction process. In the correction process, the offset image F must also be updated to ensure that the updated pixels of the composite image S are integrated without disconnection with the neighbors.

합성 영상 S[p]가 예제 E의 조정자 q와 함께 갱신된다고 가정하면 갱신된 합성 영상 S new 는 다음과 같이 표현될 수 있다.Assuming that the synthesized image S [ p ] is updated together with the adjuster q of Example E , the updated synthesized image S new may be expressed as follows.

Figure 112008090359075-pat00019
Figure 112008090359075-pat00019

위의 수학식은

Figure 112008090359075-pat00020
와
Figure 112008090359075-pat00021
사이의 거리가 다른 후보 패치들 사이의 거리보다 작다는 것을 의미한다. N A [p]와 N E [q]는 각각 -μ A [p]와 -μ A [q]로 대체되기 때문에 갱신된 표현 값 A new [p]는 다음의 수학식과 같이 대체 이후에 E[q]와 동일한 것으로 정의할 수 있다. 이러한 과정은 도 10에 도시되어 있다.The above equation is
Figure 112008090359075-pat00020
Wow
Figure 112008090359075-pat00021
This means that the distance between them is smaller than the distance between other candidate patches. Since N A [ p ] and N E [ q ] are replaced by -μ A [ p ] and -μ A [ q ] respectively, the updated expression value A new [ p ] is replaced by E [ q ] can be defined as the same. This process is illustrated in FIG.

Figure 112008090359075-pat00022
Figure 112008090359075-pat00022

수학식 7로부터 갱신된 오프셋 영상 Fnew는 다음과 같이 정의된다.The offset image F new updated from Equation 7 is defined as follows.

Figure 112008090359075-pat00023
Figure 112008090359075-pat00023

수학식 8과 수학식 9를 수학식 10에 대입하면 다음의 수학식을 얻을 수 있다.Substituting Equations 8 and 9 into Equation 10 yields the following equations.

Figure 112008090359075-pat00024
Figure 112008090359075-pat00024

수학식 11에 따르면, 오프셋 영상의 갱신을 위해 단지 표현 영상 A와 예제 E의 이웃 픽셀들의 평균만 요구된다. 그리고 μ E [q]는 사전에 계산될 수 있고, μ A [p]는 후보 매칭 과정에서 이미 계산되므로, 갱신된 표현 영상 F'를 구하기 위해 단지 두 개의 사전에 계산된 변수에 대한 한 번의 덧셈 연산만 수행하면 된다. According to Equation 11, only the average of neighboring pixels of the representation image A and the example E is required for updating the offset image. And since μ E [ q ] can be calculated in advance and μ A [ p ] is already calculated during the candidate matching process, only one addition to two previously calculated variables to obtain the updated representation image F ' You only need to perform the operation.

이상에서 설명한 바와 같이 밝기보상부(430)는 합성 영상과 오프셋 영상을 합성하여 최종적인 합성 영상인 표현 영상을 출력한다. 도 11에는 합성 영상 E*S, 오프셋 영상 F, 그리고 표현 영상 A가 도시되어 있다. 도 11에서 알 수 있듯이 밝기에서 단절이 존재하는 합성 영상에 오프셋 영상을 적용하면 밝기 차이가 개선된 표현 영상을 얻을 수 있다. As described above, the brightness compensator 430 synthesizes the synthesized image and the offset image and outputs a representation image that is a final synthesized image. 11 shows a composite image E * S , an offset image F, and a representation image A. As can be seen in FIG. 11, when an offset image is applied to a composite image having a break in brightness, an expression image having improved brightness difference may be obtained.

한편, 일부 합성 조건에 대해 오프셋 영상 F는 표현 영상 A에 대해 과다 및/또는 과소 노출을 야기할 수 있으며, 이는 종종 불만족스러운 결과를 낳게 된다. 이러한 문제를 방지하기 위해 밝기보상부(430)는 오프셋 영상의 갱신시 억제계수에 의해 밝기보상정도를 제한한다. 이는 다음의 수학식으로 표현될 수 있다. On the other hand, for some synthesis conditions offset image F may cause over and / or under exposure to representation image A , which often results in unsatisfactory results. In order to prevent such a problem, the brightness compensator 430 limits the brightness compensation degree by the suppression coefficient at the time of updating the offset image. This can be expressed by the following equation.

Figure 112008090359075-pat00025
Figure 112008090359075-pat00025

여기서, α는 억제계수이다. Where α is the suppression coefficient.

도 12에는 주어진 예제를 기초로 합성된 영상에 대해 각각 1.0과 0.9의 억제계수를 적용하였을 때 결과 영상이 도시되어 있다. FIG. 12 shows the resultant image when the suppression coefficients of 1.0 and 0.9 are applied to the synthesized image based on the given example.

상술한 바와 같은 과정을 통해 예제를 기반으로 단절없는 합성 영상을 생성할 수 있다. 이러한 합성 영상 과정에서 최종적인 단계는 텍스쳐의 완성단계이다. 텍스쳐의 완성은 불완전한 원 영상을 단절없이 결합하여 이루어진 마스킹된 텍스쳐를 합성하는 기술이다. 본 발명에 따른 텍스쳐 합성 장치는 밝기 독립적으로 예제를 주어진 제한된 영상과 합성한다. 이 과정에서 르페브르 등이 제안한 관심 영역 선택(Drag and drop)에 의한 텍스쳐 합성 기법과 유사한 접근법을 적용한다. 다만, 본 발명에서는 르페르브 등이 제안한 특징 조정 대신에 입력으로 색채 영상을 취한다. 이를 위해 제한된 영상 C와 그의 마스크 M의 가우시안 피라미드를 구축하고, 각각의 정정 반복을 수행하기 전에 제한된 영상을 표현 영상 A에 중첩시킨다. 그리고 초기 레벨에서 보다 넓은 적용을 위해 가우시안 피라미드의 각 레벨을 구축하기 전에 마스크 M의 가우시안 피라미드를 두개의 픽셀에 축적적으로 확장시킨다. 도 13에는 도 1에 도시된 예제에 대해 제한 마스크의 가우시안 피라미드가 도시되어 있으며, 도 14에는 종래기술 1에 의해 합성된 영상 및 본 발명에 따라 합성된 영상에 각각 도 13에 도시된 가우시안 피라미드를 적용하여 완성한 텍스쳐 합성 결과가 도시되어 있다.Through the process as described above, it is possible to generate a composite image without disconnection based on the example. The final step in the composite image process is the completion of the texture. Texture completion is a technique for compositing masked textures by seamlessly combining incomplete original images. The texture synthesizing apparatus according to the invention synthesizes an example with a given limited image independently of brightness. In this process, we apply an approach similar to the texture synthesis technique by Drag and drop proposed by LeFev. However, in the present invention, a color image is taken as an input instead of the feature adjustment proposed by Reperb et al. To this end, a Gaussian pyramid of the limited image C and its mask M is constructed, and the limited image is superimposed on the representation image A before each correction iteration. The Gaussian pyramid of the mask M is cumulatively extended to two pixels before building each level of the Gaussian pyramid for wider application at the initial level. FIG. 13 shows a Gaussian pyramid of the limiting mask for the example shown in FIG. 1, and FIG. 14 shows the Gaussian pyramid shown in FIG. 13 in the image synthesized by the prior art 1 and the image synthesized according to the present invention, respectively. The resulting texture synthesis is shown.

도 15는 본 발명에 따른 텍스쳐 합성 방법의 바람직한 실시예의 수행과정을 도시한 도면이다.15 is a view showing a process of performing a preferred embodiment of the texture synthesis method according to the present invention.

도 15를 참조하면, 영상합성부(410)는 주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기 독립 도메인으로 변환한다(S1500). 이 과정에서 영상합성부(410)는 예제 텍스쳐 E 내의 점 p와 점 q 주변의 이웃 픽셀들의 밝기값의 평균값을 산출하고, 각각의 이웃 픽셀들의 밝기값에서 산출된 평균값을 감하여 상대적인 밝기값을 얻는다. 다음으로 영상합성부(410)는 패치들 사이의 결합 에러가 가장 작은 패치들을 서로 이웃하도록 결합한다(S1510). 다음으로 영상보정부(420)는 합성된 영상 내의 점 p의 이웃 픽셀들과 예제 텍스쳐 내의 점 q의 대응되는 이웃 픽셀들 사이의 최소 차이에 대응하는 후보 q를 검색하고, 검색된 후보 q에 의해 합성된 영상을 보정한 다(S1520). 이때 영상보정부(420) 역시 종래의 텍스쳐 합성 기법과 달리 합성 영상과 예제 텍스쳐를 밝기 독립 도메인으로 변환한 후 최소 차이를 계산한다. 마지막으로 밝기보상부(430)는 합성 영상과 오프셋 영상을 결합하여 밝기 변화가 보상된 최종적인 표현 영상을 생성한다(S1530). 이 과정에서 밝기보상부(430)는 합성 영상의 업샘플링에 대응하여 오프셋 영상을 갱신한다. 갱신된 오프셋 영상 내의 점 p는 업샘플링 이전의 표현 영상 내의 점 p에 이웃하는 픽셀들의 평균값과 업샘플링 이전의 예제 내의 점 p에 이웃하는 픽셀들의 평균값의 합이다. Referring to FIG. 15, the image synthesizer 410 converts patches obtained from a given example texture into brightness independent domains (S1500). In this process, the image synthesizer 410 calculates an average value of brightness values of neighboring pixels around the point p and q in the example texture E, and obtains a relative brightness value by subtracting the average value calculated from the brightness values of each neighboring pixel. . Next, the image synthesizing unit 410 combines the patches having the smallest coupling error between the patches to neighbor each other (S1510). Next, the image compensator 420 retrieves the candidate q corresponding to the minimum difference between the neighboring pixels of the point p in the synthesized image and the corresponding neighboring pixels of the point q in the example texture, and synthesized by the retrieved candidate q. The corrected image is corrected (S1520). In this case, the image compensator 420 also calculates the minimum difference after converting the synthesized image and the example texture into the brightness independent domain, unlike the conventional texture synthesis technique. Finally, the brightness compensator 430 combines the composite image and the offset image to generate a final representation image compensated for the change in brightness (S1530). In this process, the brightness compensator 430 updates the offset image in response to upsampling the composite image. Point p in the updated offset image is the sum of the mean of pixels neighboring point p in the representation image before upsampling and the mean value of pixels neighboring point p in the example before upsampling.

다중 레벨 정정 구조로 인해 합성된 오프셋 F는 패치 내의 부드러운 그라데이션 패턴과 패치들의 경계에 결쳐 날카로운 불연속영역을 갖는다. 이러한 패턴은 시각적으로 포아송 방정식의 해를 이용한 기법과 유사하며, 나아가 본 발명은 전체 합성 영역 중에서 보여지는 부분만을 계산하는 것이 가능하다는 이점이 있다. 이하에서는 도 16에 도시된 바와 같이 변하는 밝기를 가진 영상을 이용하여 종래의 예제 기반 텍스쳐 합성 알고리즘과 본 발명을 비교한다. 도 15를 참조하면, 종래기술 1과 르페브르 등이 2006년에 발표한 "표현 공간 텍스쳐 합성"이란 제목의 논문에 기재된 텍스쳐 합성 기법(이하, '종래기술 2'라 함)은 텍스쳐 단절을 제거하지 못하는 반면, 본 발명은 보다 적은 시각적 결함을 갖는 결과를 얻는다. 표 1에는 이웃 매칭의 RMSE(Root Mean Squar Error) 평균에 의해 종래의 텍스쳐 합성 기법과 본 발명 사이의 양적 비교 결과가 기재되어 있다.Due to the multi-level correction structure, the synthesized offset F has sharp discontinuities at the border of the patches and the smooth gradient pattern in the patch. This pattern is visually similar to the technique using the solution of the Poisson equation, and furthermore, the present invention has the advantage that it is possible to calculate only the visible part of the total synthesis area. Hereinafter, the present invention is compared with the conventional example-based texture synthesis algorithm using an image having a varying brightness as shown in FIG. Referring to FIG. 15, the texture synthesis technique (hereinafter referred to as 'prior art 2') described in a paper entitled "Expression Space Texture Synthesis" published in 2006 by Prior Art 1 and LeFev et al. Does not remove texture breaks. In contrast, the present invention results in fewer visual defects. Table 1 describes the results of quantitative comparisons between conventional texture synthesis techniques and the present invention by means of root mean square error (RMS) of neighbor matching.

방법Way 종래기술 1Prior art 1 종래기술 2Prior art 2 본 발명Invention RMSERMSE 1.3351.335 1.5831.583 0.8360.836

표 1에 의하면 본 발명이 보다 적은 에러를 가지고, 보다 적은 단절 결함을 가짐을 알 수 있다. 본 발명은 또한 결합될 때 경계에 명확한 비연속영역을 갖는 비 도넛형의 예제를 합성할 수 있다. 또한 본 발명은 패치의 경계에서 보다 부드러운 변화를 얻을 수 있는 효과 이외에 큰 밝기 변화없이 텍스쳐를 처리할 수 있다. 따라서 종래기술에 비해 본 발명이 훨신 넓은 범위의 밝기를 낳는 것을 알 수 있다. Table 1 shows that the present invention has fewer errors and fewer disconnection defects. The present invention can also synthesize non-donut shaped examples that have a clear discontinuous region at the boundary when combined. In addition, the present invention can process the texture without a large brightness change in addition to the effect of obtaining a smoother change in the boundary of the patch. Therefore, it can be seen that the present invention produces a much wider range of brightness than the prior art.

본 발명은 특히 DEM 텍스쳐 합성에 유용하다. 디지털 깊이 맵은 고도값의 범위를 가진 지역을 기술하고, 밝기에서 큰 변화를 보이는 경향이 있는 고도 맵의 일종이다. 기존의 이웃 매칭 합성 기법을 사용하면 부드럽고 단절없는 고도 맵을 생성하는 것은 거의 불가능하다. 이와 같은 밝기 불변의 이점은 도 14에 도시된 텍스쳐 완성 결과로부터 명확하게 알 수 있다. 르페브르 등의 알고리즘은 영상에 결쳐 다수의 단절이 나타나며, 본 발명에 의해 얻어진 영상과 같은 결과를 얻을 수 없다. 반면에 본 발명에 의해 생성된 영상은 훨신 고품질고, 단절이 거의 없으며, 제한된 영상의 형태를 적절히 따르고 있다.The present invention is particularly useful for synthesizing DEM textures. Digital depth maps are a type of altitude map that describe regions with a range of altitude values and tend to show large variations in brightness. Using existing neighborhood matching synthesis techniques, it is almost impossible to create a smooth and seamless altitude map. This advantage of brightness invariance can be clearly seen from the texture completion result shown in FIG. 14. The algorithm of LeFev et al. Results in a large number of disconnections due to missing images, and the same results as those obtained by the present invention cannot be obtained. On the other hand, the image produced by the present invention is much higher quality, hardly disconnected, and properly follows the limited form of the image.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

도 1은 오른쪽 상위 지역에서 가장 높은 밝기 강도를 갖는 예제의 예를 도시한 도면, 1 shows an example of an example having the highest brightness intensity in the upper right region,

도 2a 및 2b에는 종래의 텍스쳐 합성 기법에 의해 도 1에 도시된 예제로부터 얻어진 DEM을 도시한 도면,2A and 2B show a DEM obtained from the example shown in FIG. 1 by a conventional texture synthesis technique;

도 3은 도 2a에 도시된 DEM으로부터 렌더링된 영상을 도시한 도면,3 illustrates an image rendered from the DEM illustrated in FIG. 2A;

도 4는 본 발명에 따른 텍스쳐 합성 장치의 바람직한 실시예의 구성을 도시한 블록도,4 is a block diagram showing the configuration of a preferred embodiment of a texture synthesizing apparatus according to the present invention;

도 5a 및 도 5b는 각각 패치들의 한 점에 인접하는 이웃 픽셀들의 밝기값을 도시한 도면 및 각각 패치들의 한 점에 인접하는 이웃 픽셀들의 밝기값을 밝기 독립 도메인으로 변환하여 도시한 도면,5A and 5B are diagrams illustrating brightness values of neighboring pixels adjacent to one point of patches, respectively, and a diagram illustrating conversion of brightness values of neighboring pixels adjacent to one point of each patch into brightness independent domains;

도 6a 및 도 6b는 본 발명에 따른 텍스쳐 합성 기법에 의해 도 1에 도시된 예제로부터 얻어진 DEM을 도시한 도면,6A and 6B show a DEM obtained from the example shown in FIG. 1 by the texture synthesis technique according to the present invention;

도 7은 종래기술 1에서 각각의 피라미드 레벨에서 합성의 세 가지 처리의 수행과정을 도시한 도면,7 is a view showing the performance of the three processes of synthesis at each pyramid level in the prior art 1,

도 8은 도 6a에 도시된 DEM을 기초로 렌더링된 영상을 도시한 도면,FIG. 8 illustrates an image rendered based on the DEM illustrated in FIG. 6A;

도 9는 오프셋 영상 F와 합성 영상 E*S를 결합하여 표현 영상 A를 생성하는 과정을 도시한 도면,9 is a view illustrating a process of generating a representation image A by combining an offset image F and a composite image E * S ;

도 10은 오프셋 영상 F를 갱신하는 과정을 도시한 도면,10 is a diagram illustrating a process of updating an offset image F;

도 11은 합성 영상 E*S, 오프셋 영상 F, 그리고 표현 영상 A를 도시한 도면,11 shows a composite image E * S , an offset image F, and a representation image A ;

도 12는 주어진 예제를 기초로 합성된 영상에 대해 각각 1.0과 0.9의 억제계수를 적용하였을 때 결과 영상을 도시한 도면,12 is a diagram showing a resultant image when suppression coefficients of 1.0 and 0.9 are applied to an image synthesized based on a given example.

도 13은 도 1에 도시된 예제에 대해 제한 마스크의 가우시안 피라미드를 도시한 도면,FIG. 13 shows a Gaussian pyramid of a restriction mask for the example shown in FIG. 1;

도 14는 종래기술 1에 의해 합성된 영상 및 본 발명에 따라 합성된 영상에 각각 도 13에 도시된 가우시안 피라미드를 적용하여 완성한 텍스쳐 합성 결과를 도시한 도면, 14 is a view showing a texture synthesis result obtained by applying the Gaussian pyramid shown in FIG. 13 to an image synthesized according to the prior art 1 and an image synthesized according to the present invention, respectively;

도 15는 본 발명에 따른 텍스쳐 합성 방법의 바람직한 실시예의 수행과정을 도시한 도면, 그리고,15 is a view showing a process of performing a preferred embodiment of the texture synthesis method according to the present invention, and

도 16은 변하는 밝기를 가진 영상을 이용하여 종래의 예제 기반 텍스쳐 합성 기법과 본 발명에 따른 텍스쳐 합성 기법에 의해 얻어진 결과 영상을 도시한 도면이다. FIG. 16 is a diagram illustrating a resultant image obtained by a conventional example-based texture synthesis technique and a texture synthesis technique according to the present invention using an image having a varying brightness.

Claims (11)

주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기의 상대적인 변화값으로 표현되는 밝기 불변 도메인으로 변환한 후 패치들 사이의 정합 에러가 가장 작은 패치들이 서로 이웃하도록 결합하여 합성 영상을 생성하는 영상합성부; 및An image synthesizer for converting the patches obtained from the given example texture into a brightness invariant domain represented by a relative change in brightness, and combining the patches having the smallest matching error among the patches to be adjacent to each other to generate a composite image; And 상기 합성 영상 및 상기 예제 텍스쳐를 상기 밝기 불변 도메인으로 변환한 후 예제 텍스쳐 내의 점 중에서 상기 합성 영상 내의 임의의 점에 이웃하는 이웃 픽셀들과 대응하는 이웃 픽셀들 사이의 이웃 거리가 최소가 되도록 하는 점에 의해 상기 합성 영상을 보정하는 영상보정부;를 포함하는 것을 특징으로 하는 텍스쳐 합성 장치.Converting the composite image and the example texture into the brightness-invariant domain and minimizing a neighbor distance between neighboring pixels corresponding to an arbitrary point in the composite image and corresponding neighboring pixels among points in the sample texture And an image compensator for correcting the synthesized image by using the texture synthesizing apparatus. 제 1항에 있어서,The method of claim 1, 상기 보정된 합성 영상의 업샘플링에 대응하여 업샘플링 이전의 표현 영상 내의 임의의 점에 이웃하는 픽셀들의 평균값과 업샘플링 이전의 상기 예제 텍스쳐 내의 점 중에서 상기 표현 영상 내의 임의의 점에 대응하는 점에 이웃하는 픽셀들의 평균값을 합하여 상기 보정된 합성 영상의 업샘플링에 대응하는 오프셋 영상을 생성하고, 생성된 오프셋 영상을 상기 보정된 합성 영상과 결합하여 상이한 패치들 사이의 밝기 변화가 보상된 최종적인 표현 영상을 생성하는 밝기보상부를 더 포함하는 것을 특징으로 하는 텍스쳐 합성 장치.The average value of pixels neighboring any point in the representation image before upsampling and the point in the example texture before upsampling corresponding to any point in the representation image corresponding to upsampling of the corrected composite image. A final representation in which brightness changes between different patches are compensated by combining the average values of neighboring pixels to generate an offset image corresponding to upsampling of the corrected composite image, and combining the generated offset image with the corrected composite image. And a brightness compensator for generating an image. 삭제delete 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 영상합성부는 다음의 수학식에 의해 상기 정합 에러를 산출하는 것을 특징으로 하는 텍스쳐 합성 장치:The image synthesizing unit calculates the matching error by the following equation: [수학식 A]Equation A
Figure 112010040609228-pat00026
Figure 112010040609228-pat00026
 여기서,
Figure 112010040609228-pat00027
와
Figure 112010040609228-pat00028
는 각각 밝기 불변 도메인으로 변환된 예제 E 내의 점 p와 q 주변의 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112010040609228-pat00027
Wow
Figure 112010040609228-pat00028
Is a vector containing neighboring pixels around points p and q in Example E, each transformed into a brightness constant domain. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 영상보정부는 다음의 수학식에 의해 상기 이웃 거리를 산출하는 것을 특징으로 하는 텍스쳐 합성 장치:The image compensating apparatus calculates the neighbor distance by the following equation: [수학식 B]Equation B
Figure 112010040609228-pat00029
Figure 112010040609228-pat00029
 여기서,
Figure 112010040609228-pat00030
와
Figure 112010040609228-pat00031
는 각각 밝기 불변 도메인으로 변환된 합성 영상 내의 점 p와 예제 E 내의 q 주변의 대응하는 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112010040609228-pat00030
Wow
Figure 112010040609228-pat00031
Is a vector containing corresponding neighboring pixels around point p in the composite image and q in example E, each transformed into a brightness constant domain. 주어진 예제 텍스쳐로부터 얻어진 패치들을 밝기의 상대적인 변화값으로 표현되는 밝기 불변 도메인으로 변환한 후 패치들 사이의 정합 에러가 가장 작은 패치들이 서로 이웃하도록 결합하여 합성 영상을 생성하는 영상합성단계; 및An image synthesis step of generating a composite image by converting patches obtained from a given example texture into a brightness invariant domain represented by a relative change in brightness, and combining the patches having the smallest matching error among the patches to be adjacent to each other; And 상기 합성 영상 및 상기 예제 텍스쳐를 상기 밝기 불변 도메인으로 변환한 후 예제 텍스쳐 내의 점 중에서 상기 합성 영상 내의 임의의 점에 이웃하는 이웃 픽셀들과 대응하는 이웃 픽셀들 사이의 이웃 거리가 최소가 되도록 하는 점에 의해 상기 합성 영상을 보정하는 영상보정단계;를 포함하는 것을 특징으로 하는 텍스쳐 합성 방법.Converting the composite image and the example texture into the brightness-invariant domain and minimizing a neighbor distance between neighboring pixels corresponding to an arbitrary point in the composite image and corresponding neighboring pixels among points in the sample texture And an image correction step of correcting the synthesized image. 제 6항에 있어서,The method of claim 6, 상기 보정된 합성 영상의 업샘플링에 대응하여 업샘플링 이전의 표현 영상 내의 임의의 점에 이웃하는 픽셀들의 평균값과 업샘플링 이전의 상기 예제 텍스쳐 내의 점 중에서 상기 표현 영상 내의 임의의 점에 대응하는 점에 이웃하는 픽셀들의 평균값을 합하여 상기 보정된 합성 영상의 업샘플링에 대응하는 오프셋 영상을 생성하고, 생성된 오프셋 영상을 상기 보정된 합성 영상과 결합하여 상이한 패치들 사이의 밝기 변화가 보상된 최종적인 표현 영상을 생성하는 밝기보상단계를 더 포함하는 것을 특징으로 하는 텍스쳐 합성 방법.The average value of pixels neighboring any point in the representation image before upsampling and the point in the example texture before upsampling corresponding to any point in the representation image corresponding to upsampling of the corrected composite image. A final representation in which brightness changes between different patches are compensated by combining the average values of neighboring pixels to generate an offset image corresponding to upsampling of the corrected composite image, and combining the generated offset image with the corrected composite image. The texture synthesis method further comprises a brightness compensation step of generating an image. 삭제delete 제 6항 또는 제 7항에 있어서,The method according to claim 6 or 7, 상기 영상합성단계에서 다음의 수학식에 의해 상기 정합 에러를 산출하는 것을 특징으로 하는 텍스쳐 합성 방법:In the image synthesizing step, the matching error is calculated by the following equation: [수학식 A]Equation A
Figure 112010040609228-pat00032
Figure 112010040609228-pat00032
 여기서,
Figure 112010040609228-pat00033
와
Figure 112010040609228-pat00034
는 각각 밝기 불변 도메인으로 변환된 예제 E 내의 점 p와 q 주변의 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112010040609228-pat00033
Wow
Figure 112010040609228-pat00034
Is a vector containing neighboring pixels around points p and q in Example E, each transformed into a brightness constant domain. 제 6항 또는 제 7항에 있어서,The method according to claim 6 or 7, 상기 영상보정단계에서 다음의 수학식에 의해 상기 이웃 거리를 산출하는 것을 특징으로 하는 텍스쳐 합성 방법:In the image correction step, the texture synthesis method characterized in that for calculating the neighbor distance by the following equation: [수학식 B]Equation B
Figure 112010040609228-pat00035
Figure 112010040609228-pat00035
 여기서,
Figure 112010040609228-pat00036
와
Figure 112010040609228-pat00037
는 각각 밝기 불변 도메인으로 변환된 합성 영상 내의 점 p와 예제 E 내의 q 주변의 대응하는 이웃 픽셀들을 포함하는 벡터이다.here,
Figure 112010040609228-pat00036
Wow
Figure 112010040609228-pat00037
Is a vector containing corresponding neighboring pixels around point p in the composite image and q in example E, each transformed into a brightness constant domain. 제 6항 또는 제 7항에 기재된 텍스쳐 합성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the texture synthesizing method according to claim 6 or 7.
KR1020080136591A 2008-12-30 2008-12-30 Apparatus and method for luminace independent texure synthesis KR101028697B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080136591A KR101028697B1 (en) 2008-12-30 2008-12-30 Apparatus and method for luminace independent texure synthesis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080136591A KR101028697B1 (en) 2008-12-30 2008-12-30 Apparatus and method for luminace independent texure synthesis

Publications (2)

Publication Number Publication Date
KR20100078353A KR20100078353A (en) 2010-07-08
KR101028697B1 true KR101028697B1 (en) 2011-04-14

Family

ID=42639582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080136591A KR101028697B1 (en) 2008-12-30 2008-12-30 Apparatus and method for luminace independent texure synthesis

Country Status (1)

Country Link
KR (1) KR101028697B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563959B2 (en) 2010-12-09 2017-02-07 Samsung Electronics Co., Ltd. Image processor, lighting processor and method therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686045A (en) * 1991-05-14 1994-03-25 Fuji Xerox Co Ltd Texture picture processing system for picture processor
KR20020078663A (en) * 2001-04-07 2002-10-19 휴먼드림 주식회사 Patched Image Alignment Method and Apparatus In Digital Mosaic Image Construction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686045A (en) * 1991-05-14 1994-03-25 Fuji Xerox Co Ltd Texture picture processing system for picture processor
KR20020078663A (en) * 2001-04-07 2002-10-19 휴먼드림 주식회사 Patched Image Alignment Method and Apparatus In Digital Mosaic Image Construction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이성호, 박한욱, 이정, 김창헌, "다중 스케일 텍스처 합성", 컴퓨터그래픽스학회논문지 vol. 14, no. 2, pp. 19-25, 2008.06.

Also Published As

Publication number Publication date
KR20100078353A (en) 2010-07-08

Similar Documents

Publication Publication Date Title
US11532173B2 (en) Transformation of hand-drawn sketches to digital images
JP4316571B2 (en) Image synthesis by guided interpolation
US8576242B2 (en) Image processing using meshes and gradient information
KR100967701B1 (en) Reconstructing three dimensional oil paintings
JPH0575222B2 (en)
JP2000228715A (en) Method for readjusting pixel in continuous gradation picture data
JPH10187966A (en) Method and device for filtering image
CN110570496B (en) RGBD image environment light editing method and system based on spherical harmonic illumination
Michael et al. Systematic processing of Mars Express HRSC panchromatic and colour image mosaics: Image equalisation using an external brightness reference
JP5362130B2 (en) Image processing method and apparatus therefor
JP2005520440A (en) Variational model for spatially dependent gamut mapping
JP2020061080A (en) Image processing device, imaging device, and image processing method
CN106485664B (en) A kind of satellite image color balance methods converted based on wavelet transformation and Wallis
KR101028697B1 (en) Apparatus and method for luminace independent texure synthesis
JP5241133B2 (en) Method and apparatus for creating three-dimensional relief
JP2001291116A (en) Device and method for generating three-dimensional image and program providing medium
CN115373782A (en) Three-dimensional holographic display method and device based on polygon
WO2020022436A1 (en) Restoration function adjustment system, data restoration device, restoration function adjustment method, restoration function generation method, and computer program
US6674918B1 (en) Image synthesis by illuminating a virtual deviation-mapped surface
JP3356865B2 (en) Map making method and apparatus
JP2018005846A (en) Terrain visualization device, terrain visualization method, and program
KR101803065B1 (en) Method and apparatus for processing image
JP6770442B2 (en) Image processing device and its program
Trivedi Image Enhancement and Restoration by Image Inpainting
JP3467572B2 (en) Map creation method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee