KR100968378B1 - Apparatus and method of constructing a panoramic image and computer readable medium storing program to implement the method - Google Patents

Abstract

PURPOSE: An apparatus and a method of constructing a panoramic image and a computer readable medium storing a program to implement the method are provided to generate a natural panorama image by blending matching area through the application of a weight value depending on the distance of pixel in original images. CONSTITUTION: An image acquisition unit(110) acquires images in sequence, and a matching area acquisition unit(120) obtains a matching area. The matching area has detailed areas, and a panorama generator(130) generates a panorama image by blending the areas corresponding to the first and second images in a detailed area unit through a weight function for the detailed area.

Description

파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체{Apparatus and method of constructing a panoramic image and computer readable medium storing program to implement the method}Apparatus and method of constructing a panoramic image and computer readable medium storing program to implement the method}

본 발명은 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체에 관한 것이다. 더욱 구체적으로는 매칭 영역의 이미지가 자연스럽게 블렌딩된 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to an apparatus for generating a panoramic image, a method and a recording medium having recorded thereon a program for executing the method. More specifically, the present invention relates to an apparatus for generating a panoramic image in which an image of a matching area is naturally blended, a method, and a recording medium on which a program for executing the method is recorded.

과거에는 SLR카메라에 의한 필름형 이미지 촬영과 같은 고전적인 장치 및 방법에 의해 이미지를 생성하였다. 그러나 요즘에는 CCD, CMOS 등의 광학센서를 이용한 디지털 이미지 생성이 일반화되어 가고 있다.In the past, images were generated by classical devices and methods, such as film type imaging by SLR cameras. However, digital image generation using optical sensors such as CCD and CMOS is becoming more common these days.

이러한 디지털 광학 장치에 의한 이미지 촬영은 현대인의 문화 생활과 영역의 확대에 따라 그 이용이 더욱 확대되어 가고 있으며 다양한 보조적 촬영장치 및 디지털 이미지의 처리장치 등에 대한 발전이 이에 따라 비약적인 발전을 거듭해 오고 있다.The image capturing by the digital optical device is being used more and more according to the cultural life and the area of the modern people, and the development of various auxiliary photographing device and the processing device of the digital image has been developed rapidly.

필름형 이미지 촬영 장치 및 디지털 촬영 장치 등과 같은 이미지 촬영 장치 는 기본적으로 렌즈, 조리개 및 셔터 등의 광학 장치를 통하여 유입된 광학 정보를 필름에 현상하거나 상기 광학센서가 전기에너지로 변환하여 생성한다. 그러나 이러한 이미지 촬영 장치는 피사체를 대면하는 렌즈의 광각에 제한을 받을 수 밖에 없다.Image capturing apparatuses such as film-type image capturing apparatuses and digital photographing apparatuses basically generate optical information introduced through optical devices such as lenses, apertures, and shutters on a film, or by converting the optical sensor into electrical energy. However, such an image capturing apparatus is limited to the wide angle of the lens facing the subject.

용도에 따른 다양한 렌즈 군이 개발되어 위와 같은 한계를 극복하고자 하는 렌즈가 사용되고 있으나, 렌즈의 물리적인 특성상 한계가 완전히 없어질 수는 없다.Various lens groups have been developed according to the use, and lenses are being used to overcome the above limitations, but the physical characteristics of the lens cannot completely eliminate the limitations.

일반적으로 파노라마 이미지는 상기와 같은 물리적 한계에 따른 제약을 극복하여, 디지털 이미지를 활용하는 사용자의 증대하는 다양한 욕구를 충족하기 위한 하나의 방안으로 창안된 것으로서, 렌즈가 피사체를 담을 수 있는 영역을 카메라의 촬영기법, 카메라 렌즈의 초점의 변화 및 디지털 이미지 처리 등에 의하여 확장된 이미지를 의미한다.In general, the panoramic image is created as a way to meet the increasing needs of users who utilize digital images by overcoming the limitations caused by the above physical limitations. Means an image expanded by a photographing technique, a change in focus of a camera lens, and digital image processing.

즉, 복수 개의 촬영된 이미지를 가로 또는 세로 혹은 이의 조합으로 연결하여 하나의 넓고 큰 이미지를 형성할 수 있는데 이렇게 형성된 이미지를 파노라마 이미지로 칭한다.That is, one wide and large image may be formed by connecting a plurality of photographed images horizontally or vertically or a combination thereof, and the thus formed image is referred to as a panoramic image.

다각도에 존재하는 다수의 카메라에 의하여 촬영된 복수 개의 이미지를 생성하는 방법이나 렌즈가 피사체를 향하는 각도를 이미지 촬영 장치 내에서 물리적으로 조정하여 각도 조정된 이미지를 생성하여 파노라마 이미지로 합성하는 방법 등이 파노라마 이미지 생성을 위하여 제안된 기존의 방법들이다.A method of generating a plurality of images taken by a plurality of cameras present in multiple angles or a method of physically adjusting an angle of a lens toward a subject in an image capturing apparatus to generate an angle-adjusted image, and to synthesize a panorama image. The existing methods proposed for generating panoramic images.

상기와 같은 장치 또는 방법은 추가적인 장비가 요구되고, 사용자의 운용방 법 등의 주관적인 요인에 많은 영향을 받을 뿐만 아니라, 이미지 촬영 기능이 기본적으로 제공되는 근래의 휴대 단말기의 휴대화 및 소형화에 비추어 적합하지 않은 방법이라고 할 수 있다.Such a device or method requires additional equipment and is affected by subjective factors such as a user's operation method, and is suitable in view of the portability and miniaturization of a recent portable terminal in which an image capturing function is basically provided. It can not be said.

최근 휴대 단말기에서도 파노라마 이미지를 생성할 수 있는 방법 및 장치가 개발되고 있다. 그러나 이러한 방법 및 장치는 둘 이상의 이미지의 매칭 영역을 검출하고 매칭 영역을 기준으로 하나의 이미지로 결합한다. 그러나 이와 같이 결합된 파노라마 이미지는 자연스럽지 못한 경우가 많다. Recently, a method and apparatus for generating a panoramic image have been developed in a mobile terminal. However, these methods and apparatus detect matching regions of two or more images and combine them into one image based on the matching region. However, the combined panoramic image is often not natural.

그 이유는 3차원 공간의 피사체를 2차원 이미지로 변환하는 과정에 생기는 왜곡, 즉 동일한 길이를 갖더라도 이미지 센서와의 거리에 의해 멀수록 작게 나타나는 현상 때문일 수 있다. 그 외에도, 촬영 이미지 장치의 광각 렌즈의 물리적인 특성, 즉 직선이 곡선으로 나타나는 현상 때문일 수도 있다. 또한, 디지털 자동 카메라의 자동 노출 및 자동 화이트 밸런스에 의해 동일한 물체도 밝기가 다르게 나타나거나 다른 색으로 표현될 수 있기 때문일 수도 있다.This may be due to distortion generated in the process of converting a subject in a three-dimensional space into a two-dimensional image, that is, a phenomenon appearing smaller by the distance from the image sensor even with the same length. In addition, it may be due to the physical characteristics of the wide-angle lens of the photographing image device, that is, a phenomenon in which a straight line is curved. In addition, it may be because the same object may be displayed with different brightness or different colors by the automatic exposure and automatic white balance of the digital automatic camera.

이러한 왜곡 및 부자연스러운 합성은 높은 연산 능력을 갖는 컴퓨팅 장치에서 실행되는 PC용 프로그램에 의해 복원되거나 자연스럽게 재 변환될 수 있다. 하지만, 한정된 자원과 제한된 연산 능력을 갖는 휴대 단말기에서 이를 완벽하게 해결하는 것은 어렵다.Such distortion and unnatural synthesis can be restored or naturally reconverted by a program for a PC running on a computing device with high computing power. However, it is difficult to completely solve this problem in a mobile terminal having limited resources and limited computing power.

따라서, 현대인이 쉽게 휴대할 수 있는 이미지 촬영 장치 상에서 쉽고 간단하게 파노라마 이미지를 자연스럽게 합성할 수 있는 방법에 대한 요구는 아직 충족되지 못하고 있다.Therefore, the demand for a method of naturally synthesizing panoramic images easily and simply on an image capturing apparatus which can be easily carried by modern man has not been satisfied yet.

따라서, 본 발명이 이루고자 하는 기술적 과제는, 상기의 문제점을 해결하기 위한 것으로 파노라마 이미지의 대상이 되는 원 이미지들의 매칭 영역을 자연스럽게 블렌딩하여 자연스러운 파노라마 이미지를 생성하는 장치 및 방법을 제공하는 것이다.Accordingly, an object of the present invention is to solve the above problems, and to provide an apparatus and method for generating a natural panoramic image by naturally blending a matching area of original images as a target of a panoramic image.

또한, 상기와 같은 방법을 컴퓨터에서 구현하기 위하여 컴퓨터로 인식가능하고 실행되는 프로그램을 기록한 기록매체를 제공하는 데 목적이 있다. Another object of the present invention is to provide a recording medium on which a computer-readable program is executed so as to implement the method in a computer.

상기 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 파노라마 이미지 생성 장치는, 다수의 이미지들을 순차적으로 취득하는 이미지 취득부; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득부; 및 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성부를 포함한다.According to an aspect of the present invention, there is provided a panoramic image generating apparatus comprising: an image obtaining unit sequentially obtaining a plurality of images; A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area acquisition unit for acquiring the matching area having the divided detailed areas; And a panorama by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image by using a weight function defined for the detail regions. It includes a panorama generator for generating an image.

상기 파노라마 이미지 생성 장치의 일 예에 따르면, 상기 파노라마 생성부는, 상기 제 1 이미지와 상기 제 2 이미지의 상기 매칭 영역에 해당하는 픽셀들의 컬러 정보들 및 상기 가중치 함수를 통해 계산되는 상기 세부 영역들 각각의 가중치를 이용하여, 블렌딩 매칭 영역을 산출하는 매칭 영역 블렌딩부; 및 상기 제 1 이미지의 상기 매칭 영역에 해당하지 않는 영역, 상기 블렌딩 매칭 영역, 및 상기 제 2 이미지의 상기 매칭 영역에 해당하지 않는 영역을 상기 파노라마 이미지로 결합하는 파노라마 결합부를 포함할 수 있다. 이 때, 상기 매칭 영역 블렌딩부는, 상기 세부 영역 단위로, 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에서 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 빼서 컬러 정보 편차를 계산하고, 상기 세부 영역의 가중치와 상기 컬러 정보 편차를 곱하여 가중 컬러 정보 편차를 계산하고, 상기 가중 컬러 정보 편차를 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에 더함으로써, 상기 블렌딩 매칭 영역을 산출할 수 있다. 또한, 상기 매칭 영역 블렌딩부는, 상기 세부 영역 단위로, 상기 세부 영역의 가중치를 이용하여 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보와 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 가중 평균함으로써, 상기 블렌딩 매칭 영역을 산출할 수 있다.According to an example of the panoramic image generating apparatus, the panorama generating unit may each of the sub-regions calculated through the color information and the weight function of pixels corresponding to the matching region of the first image and the second image. A matching region blending unit configured to calculate a blending matching region using a weight of? And a panorama combiner configured to combine an area not corresponding to the matching area of the first image, the blending matching area, and an area not corresponding to the matching area of the second image into the panoramic image. In this case, the matching region blending unit subtracts the color information of the pixels corresponding to the detail region of the first image from the color information of the pixels corresponding to the detail region of the second image in unit of the detail region. Calculating the deviation, multiplying the weight information deviation and the color information deviation to calculate the weighted color information deviation, and adding the weighted color information deviation to the color information of the pixels corresponding to the detail region of the first image, The blending matching area may be calculated. In addition, the matching area blending unit may be, in units of the detail area, color information of pixels corresponding to the detail area of the first image and pixels corresponding to the detail area of the second image by using a weight of the detail area. The blending matching area may be calculated by weighting the averaged color information.

또한, 상기 파노라마 이미지 생성 장치의 다른 예에 따르면, 상기 파노라마 생성부는, 상기 결합 방향에 수직하고 상기 제 1 이미지와 상기 제 2 이미지의 픽셀들로 구성된 라인을 상기 결합 방향으로 순차적으로 로딩하는 이미지 라인 로딩부; 상기 라인이 상기 매칭 영역에 속하는지의 여부를 판단하는 매칭 영역 판단부; 상기 라인이 상기 매칭 영역에 속하지 않는 경우, 상기 라인을 상기 파노라마 이미 지의 상기 라인에 해당하는 위치에 삽입하고, 상기 라인이 상기 매칭 영역에 속하는 경우, 상기 라인에 매칭되는 상기 제 2 이미지의 매칭 라인을 로딩하고, 상기 가중치 함수를 통해 계산되는 상기 라인이 속하는 상기 세부 영역의 가중치를 이용하여 상기 라인과 상기 매칭 라인의 최종 라인을 결정하고, 상기 최종 라인을 상기 파노라마 이미지의 상기 라인에 해당하는 위치에 삽입하는 파노라마 순차 생성부를 포함할 수 있다.In addition, according to another example of the panoramic image generating apparatus, the panorama generating unit, the image line for sequentially loading a line consisting of the pixels of the first image and the second image and perpendicular to the combining direction in the combining direction A loading unit; A matching area determination unit that determines whether the line belongs to the matching area; If the line does not belong to the matching area, the line is inserted at a position corresponding to the line of the panoramic image, and if the line belongs to the matching area, the matching line of the second image matching the line Loads and determines a final line of the line and the matching line by using a weight of the subregion to which the line belongs, calculated by the weighting function, and positions the last line as the line of the panoramic image. It may include a panorama sequential generation unit inserted into.

또한, 상기 세부 영역의 개수는 상기 매칭 영역의 상기 결합 방향으로의 픽셀 개수와 같을 수 있다. 또한, 상기 세부 영역의 개수는 가변 될 수 있다.In addition, the number of the detail regions may be equal to the number of pixels of the matching region in the combining direction. In addition, the number of detailed areas may vary.

또한, 상기 파노라마 이미지 생성 장치의 또 다른 예에 따르면, 상기 세부 영역의 개수가 L일 때, 상기 가중치 함수는 0 내지 L+1의 정수를 입력 변수로 하고 상기 입력 변수가 0일 때 상기 가중치 함수의 값은 0이고 상기 입력 변수가 L+1일 때 상기 가중치 함수의 값은 1인 단조증가함수일 수 있다. 이 때, 상기 가중치 함수는 선형함수일 수 있다.Further, according to another example of the panoramic image generating apparatus, when the number of the detail region is L, the weight function is an integer of 0 to L + 1 as an input variable and the weight function when the input variable is 0 When the value of 0 is 0 and the input variable is L + 1, the value of the weight function may be a monotonically increasing function of 1. In this case, the weight function may be a linear function.

또한, 상기 파노라마 이미지 생성 장치의 또 다른 예에 따르면, 제 1 이미지와 제 2 이미지의 상기 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영하는 이미지 보정부를 더 포함할 수 있다. 이 때, 상기 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들의 컬러 정보에 곱할 수 있다.In addition, according to another example of the panoramic image generating apparatus, a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image are selected, and the average of the color information of the pixels is calculated, respectively. The apparatus may further include an image corrector configured to reflect the ratio of the averages to all pixels belonging to the first image or the second image. In this case, the ratio may be multiplied by color information of all pixels belonging to the first image or the second image.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 파노라마 이 미지 생성 방법은, 다수의 이미지들을 순차적으로 취득하는 이미지 취득 단계; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득 단계; 및 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성 단계를 포함한다.According to another aspect of the present invention, there is provided a panorama image generating method comprising: an image obtaining step of sequentially obtaining a plurality of images; A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area obtaining step of obtaining the matching area having the divided detailed areas; And a panorama by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image by using a weight function defined for the detail regions. And a panorama generating step of generating an image.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 매체는 컴퓨터에 상기 파노라마 이미지 생성 방법을 실행시키기 위한 프로그램을 기록한다.According to another aspect of the present invention for achieving the above technical problem, a computer-readable medium records a program for executing the method of generating a panoramic image on a computer.

본 발명의 파노라마 이미지 생성 장치 및 방법은, 파노라마 이미지의 대상이 되는 원 이미지들의 매칭 영역을 픽셀의 거리에 따른 가중치를 적용하여 블렌딩함으로써 자연스럽게 결합된 파노라마 이미지를 생성할 수 있다.The panorama image generating apparatus and method of the present invention may generate a panorama image that is naturally combined by blending matching regions of original images, which are the targets of the panorama image, with weights according to distances of pixels.

또한, 휴대 단말기의 이미지 촬영 장치의 특성을 고려하여, 자동으로 변한 노출 및 화이트밸런스를 재 조정함으로써 매칭 영역 외의 나머지 영역들 간에도 자연스러운 합성이 가능하다.In addition, in consideration of the characteristics of the image photographing apparatus of the mobile terminal, by automatically readjusted the changed exposure and white balance, it is possible to naturally synthesize between the remaining areas other than the matching area.

더욱이, 이러한 블렌딩 방식은 자연스러운 파노라마 이미지를 생성할 수 있음에도 불구하고 간단한 연산 과정과 작은 리소스만으로도 달성될 수 있으므로 이 동단말기의 하드웨어 환경에 더욱 부합되는 파노라마 이미지 생성방법을 실현할 수 있다.Moreover, although such a blending method can generate a natural panorama image, it can be achieved with a simple calculation process and a small resource, thereby realizing a panorama image generation method that is more suitable for the hardware environment of the mobile terminal.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail an embodiment of the present invention. Prior to this, terms or words used in the present specification and claims should not be construed as being limited to the common or dictionary meanings, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예들과 도면에 도시된 구성은 해당 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위한 목적으로 제공되는 것이다. 이러한 실시예들은 예시적인 일 실시예에 불과할 뿐이며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Accordingly, the embodiments described in the specification and the configuration shown in the drawings are provided for the purpose of more fully illustrating the present invention to those skilled in the art. These embodiments are only exemplary embodiments and do not represent all of the technical ideas of the present invention, and it should be understood that there may be various equivalents and modifications that may substitute them at the time of the present application.

본 발명의 상세한 설명에 앞서 본 발명의 설명에 필요한 용어 및 정의 등에 관하여 서술하도록 한다.Prior to the detailed description of the present invention will be described for terms and definitions necessary for the description of the present invention.

통상적으로 이미지처리의 기본이 되는 이미지의 색상공간은 색상혼합의 관점, 인간의 시각 체계와의 유사성 등 색 공간을 바라보는 관점에 따라 RGB, CMYK, HS계열, CIE, Y계열 등 다양한 공간으로 표현될 수 있다. 임의의 형태로 표현된 색 공간을 간단한 수학적 변환 식에 의하여 다른 색 공간으로 변환할 수 있다는 것은 해당 기술분야의 당업자들에게 자명할 것이다.In general, the color space of an image that is the basis of image processing is expressed in various spaces such as RGB, CMYK, HS, CIE, and Y according to the viewpoint of color mixing, such as the viewpoint of color mixing and similarity with human visual system. Can be. It will be apparent to those skilled in the art that a color space expressed in any form can be converted to another color space by a simple mathematical conversion equation.

또한, 입력 이미지는 복수개의 픽셀들의 합으로 표현되며, 픽셀들은 이에 해당하는 이미지 정보(명도, 색상, 채도 등)를 가지게 된다. 통상적으로 이미지 정보는 0에서 255단계로 구분되어 8bit의 정보로 나타낸다. 그러나, 적용되는 환경에 따라 이미지 정보는 10, 12bit 등으로 다양하게 변형할 수 있음은 물론이다.In addition, the input image is expressed as a sum of a plurality of pixels, and the pixels have image information (brightness, hue, saturation, etc.) corresponding thereto. Typically, image information is divided into 0 to 255 steps and represented by 8-bit information. However, it is a matter of course that the image information can be variously transformed into 10, 12 bits and the like according to the applied environment.

그러므로, 본 발명을 설명함에 있어 일 실시예로서 표현된 하나의 색 공간 좌표계는 상기와 같은 관점에서 다른 색 공간 좌표계에도 동일 또는 유사한 적용이 가능하며, 입력 이미지에서 하나의 픽셀이 가지는 이미지정보의 bit 크기는 일 실시예에 불과하다고 이해되어야 한다.Therefore, in describing the present invention, one color space coordinate system represented as an embodiment may be applied to the same or similar color space coordinate system in view of the above, and a bit of image information of one pixel in an input image may be applied. It should be understood that the size is only one embodiment.

도 1은 본 발명의 일 실시예에 따른 파노라마 이미지 생성 장치를 도시한 블록도이다.1 is a block diagram illustrating an apparatus for generating a panoramic image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 파노라마 이미지 생성 장치(100)는, 이미지 취득부(110), 매칭 영역 취득부(120) 및 파노라마 생성부(130)를 포함한다. 선택적으로, 파노라마 이미지 생성 장치(100)는 이미지 보정부(140)를 포함할 수 있다.Referring to FIG. 1, the panorama image generating apparatus 100 according to an embodiment of the present invention includes an image acquisition unit 110, a matching area acquisition unit 120, and a panorama generation unit 130. Optionally, the panorama image generating apparatus 100 may include an image corrector 140.

이미지 취득부(110)는 파노라마 이미지로 결합될 다수의 이미지들을 순차적으로 취득한다. The image acquisition unit 110 sequentially acquires a plurality of images to be combined into a panoramic image.

순차적으로 취득되는 이미지들은 합성 또는 결합하고자 하는 적어도 2개의 원 이미지를 의미한다. 이미지 취득부(110)는 수평 파노라마 이미지뿐만 아니라 수직 파노라마 이미지로 결합될 이미지들을 취득할 수 있다. 또는 이미지 취득부(110)는 수평 수직의 조합(2×2, 2×3, 3×3 등)에 의한 파노라마 이미지로 결합될 이미지들을 취득할 수 있다. 다만 이 경우, 순차적으로 취득된 이미지들 간에 중첩되지 않을 수 있다. 즉, 제 1 이미지와 제 3 또는 제 4 이미지의 일부가 서로 중첩될 수 있다.The images acquired sequentially mean at least two original images to be synthesized or combined. The image acquisition unit 110 may acquire images to be combined into a vertical panoramic image as well as a horizontal panoramic image. Alternatively, the image acquisition unit 110 may acquire images to be combined into a panoramic image by a combination of horizontal and vertical (2 × 2, 2 × 3, 3 × 3, etc.). In this case, however, the images may not overlap between sequentially acquired images. That is, a portion of the first image and the third or fourth image may overlap each other.

파노라마 이미지로 결합될 다수의 이미지들은 파노라마 이미지 생성 장치(100)의 외부로부터 전송 받을 수도 있으며, 파노라마 이미지 생성 장치(100)에 포함될 수 있는 카메라부(미 도시)에 의해 직접 촬영됨으로써 취득될 수도 있다.The plurality of images to be combined into the panoramic image may be transmitted from the outside of the panoramic image generating apparatus 100 or may be acquired by being directly photographed by a camera unit (not shown) which may be included in the panoramic image generating apparatus 100. .

이에 관하여 아래의 도 4를 참조로 더욱 자세히 설명한다.This will be described in more detail with reference to FIG. 4 below.

매칭 영역 취득부(120)는 이미지 취득부(110)에 의해 순차적으로 취득된 다수의 이미지들 중 어느 하나의 이미지인 제 1 이미지와 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 취득한다. The matching area acquisition unit 120 acquires the first image, which is one of a plurality of images sequentially acquired by the image acquisition unit 110, and the second image to be combined with the first image overlap each other.

매칭 영역을 취득하기 위해서, 제 1 및 제 2 이미지들의 특징점을 추출하고, 추출된 특징점의 패턴 매칭을 통해 제 1 및 제 2 이미지의 좌표를 대응시킨다. 이렇게 대응된 좌표를 통해 매칭 영역을 취득할 수 있다.In order to obtain a matching area, feature points of the first and second images are extracted, and the coordinates of the first and second images are corresponded through pattern matching of the extracted feature points. The matching area can be obtained through the corresponding coordinates.

매칭 영역은 다수의 세부 영역으로 구분될 수 있다. 세부 영역의 개수가 클수록 파노라마 이미지는 더 부드럽게 결합한다.The matching area may be divided into a plurality of detailed areas. The greater the number of detail areas, the smoother the panorama image is combined.

이에 대하여 아래의 도 4를 참조로 더욱 자세히 설명한다.This will be described in more detail with reference to FIG. 4 below.

파노라마 생성부(130)는 각각의 세부 영역에 대해 정의된 가중치 함수를 이용하여 세부 영역 단위로 제 1 이미지와 제 2 이미지의 매칭 영역에 해당하는 영역 들을 블렌딩하여 결합함으로써 파노라마 이미지를 생성한다. The panorama generation unit 130 generates a panorama image by blending and combining regions corresponding to matching regions of the first image and the second image in detail region units by using a weight function defined for each detail region.

이렇게 생성된 파노라마 이미지는 제 1 이미지와 제 2 이미지의 컬러 정보를 부드럽게 연결함으로써 컬러 측면에서뿐만 아니라 왜곡의 보상이라는 측면에서도 자연스러운 결합이 가능하다. The generated panoramic image can be naturally combined not only in terms of color but also in terms of compensation of distortion by smoothly connecting the color information of the first image and the second image.

이에 대하여 아래의 도 2 및 도 3을 참조하여 더욱 자세히 설명한다.This will be described in more detail with reference to FIGS. 2 and 3 below.

선택적으로 파노라마 생성 장치(100)에 포함될 수 있는 이미지 보정부(140)는 제 1 이미지와 제 2 이미지의 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 선택된 픽셀들의 컬러 정보들의 평균을 각각 계산하여 제 1 평균과 제 2 평균을 산출하고 제 1 평균과 제 2 평균 간의 비율을 제 1 이미지 또는 제 2 이미지에 속하는 모든 픽셀들에 반영한다.Optionally, the image correction unit 140, which may be included in the panorama generating apparatus 100, selects a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, and selects color information of the selected pixels. The average is calculated to calculate a first average and a second average, and the ratio between the first average and the second average is reflected in all pixels belonging to the first image or the second image.

이렇게 이미지를 보정함으로써, 제 1 이미지와 제 2 이미지의 촬영 순간에 결정되는 노출값 및 화이트 밸런스를 서로 비슷하게 맞출 수 있으며, 따라서 더욱 더 자연스러운 결합이 가능하다.By correcting the image in this way, the exposure value and the white balance determined at the time of capturing the first image and the second image can be similarly matched to each other, and thus a more natural combination is possible.

이러한 이미지 보정부(140)는 선택적으로 파노라마 생성 장치(100)에 포함될 수 있으므로, 이미지 보정부(140)를 생략하여 실시하는 경우에도 본 발명의 권리범위에 포함될 수 있음에 주의해야 한다.Since the image corrector 140 may be selectively included in the panorama generating apparatus 100, it should be noted that the image corrector 140 may be included in the scope of the present invention even when the image corrector 140 is omitted.

이미지 보정부(140)는 아래의 도 8을 참조로 더욱 자세히 설명한다.The image corrector 140 will be described in more detail with reference to FIG. 8 below.

도 2는 본 발명의 제 1 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성부를 도시한 블록도이다.2 is a block diagram illustrating a panorama generating unit of the panorama image generating apparatus according to the first embodiment of the present invention.

도 2를 참조하면, 파노라마 생성부(130a)는 매칭 영역 블렌딩부(131) 및 파 노라마 결합부(132)를 포함한다.Referring to FIG. 2, the panorama generator 130a includes a matching area blending unit 131 and a panorama combiner 132.

매칭 영역 블렌딩부(131)는 제 1 이미지와 제 2 이미지의 매칭 영역에 해당하는 픽셀들의 컬러 정보들을 이용한다. 또한, 매칭 영역 블렌딩부(131)는 가중치 함수를 통해 세부 영역들 각각의 가중치를 계산하고, 매칭 영역을 블렌딩하는데 각각의 세부 영역에 대한 가중치를 이용한다.The matching area blending unit 131 uses color information of pixels corresponding to the matching area of the first image and the second image. In addition, the matching region blending unit 131 calculates the weight of each of the detail regions through a weighting function, and uses the weight of each detail region to blend the matching region.

본 발명의 일 실시예에 따르면, 매칭 영역 블렌딩부(131)는, 세부 영역 단위로, 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에서 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 빼서 컬러 정보 편차를 계산할 수 있다. 그 후, 매칭 영역 블렌딩부(131)는 가중치 함수를 통해 계산된 상기 세부 영역의 가중치와 컬러 정보 편차를 곱하여 가중 컬러 정보 편차를 계산할 수 있다. 마지막으로, 매칭 영역 블렌딩부(131)는 가중 컬러 정보 편차를 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에 더하여 블렌딩 매칭 영역을 산출할 수 있다. 매칭 영역 블렌딩부(131)는 이러한 과정을 모든 세부 영역에 속한 모든 픽셀에 대해 수행함으로써 블렌딩 매치 영역을 산출할 수 있다.According to an embodiment of the present disclosure, the matching area blending unit 131 may be configured to convert the pixels corresponding to the detailed area of the first image in the color information of the pixels corresponding to the detailed area of the second image on a detailed area basis. The color information deviation can be calculated by subtracting the color information. Thereafter, the matching area blending unit 131 may calculate the weighted color information deviation by multiplying the weight information deviation and the color information deviation of the subregion calculated by the weighting function. Finally, the matching area blending unit 131 may calculate the blending matching area by adding the weighted color information deviation to the color information of the pixels corresponding to the detail area of the first image. The matching region blending unit 131 may calculate the blending matching region by performing this process on all the pixels belonging to all the detail regions.

본 발명의 다른 실시예에 따르면, 매칭 영역 블렌딩부(131)는, 세부 영역 단위로, 상기 세부 영역의 가중치를 이용하여 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보와 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 가중 평균할 수 있다. 매칭 영역 블렌딩부(131)는 이렇게 가중 평균된 값을 블렌딩 매칭 영역의 해당 픽셀의 컬러 정보의 값으로 할당할 수 있다. 이러한 과정을 모든 세부 영역에 속한 모든 픽셀에 대해 수행함으로써 매칭 영역 블렌 딩부(131)는 블렌딩 매치 영역을 산출할 수 있다.According to another exemplary embodiment of the present disclosure, the matching area blending unit 131 may, in the detail region unit, color information of pixels corresponding to the detail region of the first image and the second image by using the weight of the detail region. The color information of the pixels corresponding to the detail area may be weighted averaged. The matching region blending unit 131 may assign the weighted average value as the value of the color information of the corresponding pixel of the blending matching region. The matching area blending unit 131 may calculate the blending match area by performing this process on all pixels belonging to every detail area.

이러한 매칭 영역 블렌딩부(131)에 대해서 도 4를 참조로 더 자세히 설명한다.The matching region blending unit 131 will be described in more detail with reference to FIG. 4.

파노라마 결합부(132)는 제 1 이미지의 매칭 영역에 속하지 않는 영역과 블렌딩 매칭 영역, 그리고 제 2 이미지의 매칭 영역에 속하지 않는 영역을 결합할 수 있다. 이렇게 결합함으로써 파노라마 결합부(132)는 파노라마 이미지를 생성할 수 있다.The panorama combiner 132 may combine an area that does not belong to the matching area of the first image, a blending matching area, and an area that does not belong to the matching area of the second image. By doing so, the panorama combiner 132 may generate a panorama image.

도 3는 본 발명의 제 2 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성부를 도시한 블록도이다.3 is a block diagram illustrating a panorama generating unit of the panorama image generating apparatus according to the second embodiment of the present invention.

도 3을 참조하면, 파노라마 생성부(130b)는 이미지 라인 로딩부(135), 매칭 영역 판단부(136) 및 파노라마 순차 생성부(137)를 포함한다.Referring to FIG. 3, the panorama generator 130b includes an image line loading unit 135, a matching area determiner 136, and a panorama sequence generator 137.

이미지 라인 로딩부(135)는 제 1 이미지와 제 2 이미지의 픽셀들로 구성된 라인을 순차적으로 로딩할 수 있다. 이러한 라인은 제 1 이미지와 제 2 이미지의 결합 방향에 수직할 수 있다.The image line loading unit 135 may sequentially load a line composed of pixels of the first image and the second image. This line may be perpendicular to the joining direction of the first image and the second image.

매칭 영역 판단부(136)는 이미지 라인 로딩부(135)에 의해 로딩된 라인이 매칭 영역에 포함되는지를 판단할 수 있다.The matching area determination unit 136 may determine whether the line loaded by the image line loading unit 135 is included in the matching area.

파노라마 순차 생성부(137)는 로딩된 라인이 매칭 영역에 포함되지 않는 경우에는 로딩된 라인을 그대로 파노라마 이미지의 해당 위치에 삽입할 수 있다. 반면에, 로딩된 라인이 매칭 영역에 포함되는 경우에 파노라마 순차 생성부(137)는 로딩된 라인에 대응하는 결합될 이미지의 매칭 라인을 로딩할 수 있다. 그 후, 로 딩된 라인과 매칭 라인을 결합하는데, 상술된 방법과 같이 로딩된 라인이 위치하는 세부 영역과 그 세부 영역의 가중치를 이용하여 결합할 수 있다. 그 결과 최종 라인이 생성될 수 있다. 생성된 최종 라인을 파노라마 이미지의 해당 위치에 삽입할 수 있다.When the loaded line is not included in the matching area, the panorama sequence generator 137 may insert the loaded line into a corresponding position of the panoramic image as it is. On the other hand, when the loaded line is included in the matching area, the panoramic sequence generator 137 may load the matching line of the image to be combined corresponding to the loaded line. Thereafter, the loaded line and the matching line are combined, which can be combined using the detail region in which the loaded line is located and the weight of the detail region as described above. As a result, a final line can be generated. The final line created can be inserted at the corresponding position in the panoramic image.

이에 대하여 아래에서 도 4를 참조로 더욱 자세히 설명한다.This will be described in more detail with reference to FIG. 4 below.

도 4a 내지 4e는 본 발명의 일 실시예에 따라 파노라마 이미지를 생성하는 과정을 설명하기 위한 예시적인 도면이다.4A to 4E are exemplary diagrams for describing a process of generating a panoramic image according to an embodiment of the present invention.

도 1과 함께 도 4a를 참조하면, 이미지 취득부(110)에서 순차적으로 취득되는 다수의 이미지들 중 2개의 이미지(302, 304)가 예시적으로 도시된다.Referring to FIG. 4A together with FIG. 1, two images 302 and 304 of a plurality of images sequentially acquired by the image acquisition unit 110 are illustrated.

상술한 바와 같이, 이미지 취득부(110)는 파노라마 이미지로 결합될 다수의 이미지들을 순차적으로 취득할 수 있다. As described above, the image acquisition unit 110 may sequentially acquire a plurality of images to be combined into a panoramic image.

이하의 설명에서는, 수평 파노라마 이미지로 서로 결합될 제 1 이미지(302)와 제 2 이미지(304)를 결합하는 예를 참조하여 본 발명을 설명한다. 이 때, 제 1 이미지(302)는 이미지 취득부(110)에서 취득된 임의의 하나의 이미지이며, 제 2 이미지(304)는 파노라마 이미지를 구성하기 위해 제 1 이미지(302)와 결합될 이미지이다. 또한, 제 1 이미지(302)와 제 2 이미지(304)는 n x m의 해상도를 갖는 것으로 가정한다. 그러나, 파노라마 이미지의 결합 방향이나 결합될 이미지의 개수 및 크기에 의해 본 발명의 기술적 사상의 범위가 제한되는 것은 아니다.In the following description, the present invention will be described with reference to an example of combining the first image 302 and the second image 304 to be combined with each other in a horizontal panoramic image. In this case, the first image 302 is any one image acquired by the image acquisition unit 110, and the second image 304 is an image to be combined with the first image 302 to construct a panoramic image. . It is also assumed that the first image 302 and the second image 304 have a resolution of n x m. However, the scope of the technical spirit of the present invention is not limited by the combining direction of the panoramic image or the number and size of the images to be combined.

매칭 영역 취득부(120)는 제 1 이미지(302)와 제 2 이미지(304)가 서로 중복되는 매칭 영역을 취득할 수 있다.The matching area acquisition unit 120 may acquire a matching area in which the first image 302 and the second image 304 overlap each other.

매칭 영역을 취득하기 위해서, 제 1 이미지(302)와 제 2 이미지(304)의 특징점, 예컨대 "312"를 추출할 수 있다. 특징점이란 주변 영역에 비해 특징이 되어 이미지를 식별할 수 있게 하는 영역 또는 점을 의미한다고 할 수 있다. 이러한 특징점은 예컨대 주변에 비해 휘도가 높은 점, 강한 경계가 만나는 점 또는 인접 픽셀과 일정 크기 이상의 변화를 갖는 점 등으로 결정할 수 있다. 이러한 결정은 특징점을 추출하는 다양한 방법에 따라 달라질 수 있으며, 본 발명의 기술적 사상의 범위가 위의 결정 방법으로 한정되지 않는다.In order to obtain a matching area, the feature points of the first image 302 and the second image 304 may be extracted, eg, “312”. The feature point may be referred to as an area or a point that becomes a feature compared to the surrounding area to identify an image. Such a feature point may be determined by, for example, a point having a higher luminance than a periphery, a point where a strong boundary meets, or a point having a change in a predetermined size or more with an adjacent pixel. Such determination may vary according to various methods of extracting feature points, and the scope of the inventive concept is not limited to the above determination method.

이렇게 추출된 특징점(312)을 기반으로 제 1 이미지(302)와 제 2 이미지(304) 간의 호모그래피(homography)를 추출하여 다차원변형(warping)을 수행할 수 있다. 호모그래피란 제 1 이미지(302)와 제 2 이미지(304)를 결합하기 위해 한쪽 이미지의 화소 좌표계를 다른 이미지의 화소 좌표계로 동일하게 변환해주는 것이다. 그 후 다차원변형을 통해 이미지(302, 304) 자체가 갖는 왜곡을 보상할 수 있다.Based on the extracted feature points 312, a homography between the first image 302 and the second image 304 may be extracted to perform multi-dimensional warping. Homography is to convert the pixel coordinate system of one image to the pixel coordinate system of another image in order to combine the first image 302 and the second image 304. Thereafter, the distortion of the images 302 and 304 itself may be compensated for through the multi-dimensional deformation.

예를 들어, 특징점들(312) 중 어느 하나를 기준으로 할 수 있다. 기준이 되는 특징점(312)에 대한 제 1 이미지(302)와 제 2 이미지(304)에서의 좌표들을 구할 수 있다. 예를 들어, 특징점(312)의 제 1 이미지(302)에서의 좌표가 (x₁, y₁)이고 제 2 이미지(304)에서의 좌표가(x₂, y₂)라고 가정하면, 제 1 이미지(302)의 매칭 영역에 해당하는 영역은 (x₁-x₂, y₁-y₂), (x₁-x₂, m), (n, y₁-y₂), (n, m)으로 결정될 수 있다. 이 때, 좌표계는 이미지의 좌상단을 (1, 1)로 하고 우하단을 (n, m)으로 설정하였다. 그리고, 도 4a에 도시되는 바와 같이, 본 경우는, 제 2 이미지(304)가 제 1 이미지(302)의 우측에 결합되는 것으로 가정하였다.For example, it may be based on any one of the feature points 312. Coordinates in the first image 302 and the second image 304 with respect to the reference point 312 may be obtained. For example, assuming that the coordinates in the first image 302 of the feature point 312 are (x ₁ , y ₁ ) and the coordinates in the second image 304 are (x ₂ , y ₂ ), the first The regions corresponding to the matching regions of the image 302 are (x ₁ -x ₂ , y ₁ -y ₂ ), (x ₁ -x ₂ , m), (n, y ₁ -y ₂ ), (n, m ) Can be determined. At this time, the coordinate system set the upper left end of the image to (1, 1) and the lower right end to (n, m). 4A, in this case, it is assumed that the second image 304 is coupled to the right side of the first image 302.

이러한 과정을 통해 매칭 영역 취득부(120)는 제 1 이미지(302)와 제 2 이미지(304)가 서로 중첩되는 매칭 영역을 취득할 수 있다. 선택적으로, 매칭 영역을 파노라마 이미지 생성 장치(100)의 외부로부터 전송 받을 수도 있다. 예컨대, 파노라마 이미지 생성 장치(100)의 촬영부(미 도시)가 제 1 이미지(302)의 일부가 제 2 이미지(304)의 일부와 서로 중첩하도록 제 2 이미지를 촬영함으로써 미리 결정된 매칭 영역(308)을 제공할 수도 있다.Through this process, the matching area acquisition unit 120 may acquire a matching area in which the first image 302 and the second image 304 overlap each other. Optionally, the matching area may be transmitted from the outside of the panorama image generating apparatus 100. For example, the photographing unit (not shown) of the panorama image generating apparatus 100 captures the second image such that a part of the first image 302 overlaps with a part of the second image 304, and thus the predetermined matching area 308. ) May be provided.

이제 도 1과 함께 도 4b를 참조하면, 매칭 영역(308)이 결정된 제 1 이미지(302)와 제 2 이미지(304)가 도시된다.Referring now to FIG. 4B in conjunction with FIG. 1, a first image 302 and a second image 304 in which a matching area 308 has been determined are shown.

매칭 영역 취득부(120)는 취득된 매칭 영역(308)을 통해 제 1 이미지(302)와 제 2 이미지(304)가 결합되는 방향을 알 수 있다. 수평 파노라마를 생성하는 본 예에서, 도 4b에 도시된 바와 같이, 매칭 영역(308)이 제 1 이미지(302)의 우측에 위치한다면 제 2 이미지(304)는 제 1 이미지(302)의 우측에 결합될 것임을 알 수 있으며, 이 때 결합 방향은 우측 방향일 것이다. 반면, 수직 파노라마를 생성하는 다른 예에서, 매칭 영역(308)이 제 1 이미지(302)의 하단에 위치한다면, 제 2 이미지(304)는 제 1 이미지(302)의 하단에 결합될 것임을 알 수 있으며, 이 때 결합 방향은 아래 방향일 것이다.The matching area acquisition unit 120 may know a direction in which the first image 302 and the second image 304 are combined through the acquired matching area 308. In this example of generating a horizontal panorama, as shown in FIG. 4B, if the matching area 308 is located on the right side of the first image 302, the second image 304 is on the right side of the first image 302. It will be appreciated that the coupling direction will be the right direction. On the other hand, in another example of creating a vertical panorama, if the matching area 308 is located at the bottom of the first image 302, it can be seen that the second image 304 will be joined to the bottom of the first image 302. In this case, the coupling direction will be downward.

본 예에서 매칭 영역(308)은 d x m 개의 픽셀로 구성된다고 가정한다. 즉, 매칭 영역(308)은 m개의 픽셀로 구성된 d개의 세로 라인을 갖는다고 이해할 수 있 다.In this example, it is assumed that the matching area 308 is composed of d x m pixels. That is, it can be understood that the matching area 308 has d vertical lines composed of m pixels.

매칭 영역(308)은 결합 방향에 수직하게 분할된 다수의 세부 영역(314)을 가질 수 있다. 결합 방향이 우측 방향이라면 세부 영역은 세로 방향을 가질 것이다. 본 예에서는 L개의 세부 영역(314)을 갖는다고 가정한다. 이 때, 픽셀은 색 정보를 갖는 최소 단위이므로 나뉠 수 없기 때문에, L은 d보다 클 수 없다. The matching area 308 may have a plurality of detail areas 314 divided perpendicular to the joining direction. If the joining direction is to the right, the detail region will have a longitudinal direction. In this example, it is assumed that there are L detail regions 314. At this time, since the pixel is the smallest unit having the color information and cannot be divided, L cannot be larger than d.

후술되겠지만, 세부 영역(314)의 개수인 L은 부드럽게 결합되는 정도로 표현될 수 있는 상수이다. L이 클수록 매치 영역(308)을 구분 짓는 세부 영역(314)이 많이 존재하기 때문에, 더 부드럽게 결합될 수 있다. 예를 들면, 세부 영역(314)이 개수인 L이 매칭 영역(308)의 결합 방향으로의 픽셀의 개수인 d와 같도록 설정될 때, 주어진 이미지들(302, 304) 간에 가장 부드럽게 결합할 수 있다.As will be described later, L, which is the number of detail regions 314, is a constant that can be expressed to the extent that it is smoothly combined. The larger L, the more detail regions 314 that distinguish the match region 308, so that they can be combined more smoothly. For example, when the detail area 314 is set to be equal to d, which is the number of pixels in the combining direction of the matching area 308, the smoothest combination between the given images 302 and 304 can be achieved. have.

위의 과정을 통해, 서로 결합될 적어도 2개의 이미지를 포함하는 다수의 이미지들이 취득되고, 상기 2개의 이미지들이 서로 중복되는 매칭 영역이 결정된다.Through the above process, a plurality of images including at least two images to be combined with each other are obtained, and a matching area where the two images overlap each other is determined.

이하에서는, 파노라마 생성부(130)가 자세히 설명된다.Hereinafter, the panorama generator 130 will be described in detail.

상술한 바와 같이, 파노라마 생성부(130)의 제 1 실시예는 도 2에 도시된 파노라마 생성부(130a)일 수 있으며, 파노라마 생성부(130)의 제 2 실시예는 도 3에 도시된 파노라마 생성부(130b)일 수 있다. 파노라마 생성부(130a)는 취득된 매칭 영역에 대한 연산을 수행한 후, 비매칭 영역(306, 310)들과 매칭 영역을 결합하여 파노라마 이미지를 생성한다. 반면에, 파노라마 생성부(130b)는 제 1 이미지(302)와 제 2 이미지(304)의 픽셀들로 이루어진 라인들을 순차적으로 로딩하여 연산을 수행하여, 순차적으로 파노라마 이미지를 생성할 수 있다. 이러한 방식은 화면에 파노라마 이미지를 디스플레이하는 경우에 유리할 수 있다.As described above, the first embodiment of the panorama generator 130 may be the panorama generator 130a illustrated in FIG. 2, and the second embodiment of the panorama generator 130 may be the panorama illustrated in FIG. 3. It may be a generator 130b. The panorama generator 130a performs a calculation on the acquired matching area and then generates a panoramic image by combining the matching areas 306 and 310 with the matching area. On the other hand, the panorama generation unit 130b may sequentially load lines composed of pixels of the first image 302 and the second image 304 to perform a calculation to sequentially generate the panorama images. This approach may be advantageous when displaying a panoramic image on the screen.

제 1 및 제 2 실시예에 따른 파노라마 생성부(130a, b)에 대해 자세히 설명하기에 앞서, 배경을 생략한 도 4c 및 4d를 참조로, 세부 영역(314)에 대해 정의된 가중치 함수(w(x))와 이를 통해 계산된 세부 영역(314)의 가중치를 설명한다.Before describing the panorama generators 130a and b according to the first and second embodiments in detail, the weight function w defined for the detail region 314 is described with reference to FIGS. 4C and 4D, which omit background. (x)) and the weight of the detailed region 314 calculated through this.

각각의 세부 영역(314)의 가중치는 가중치 함수(w(x))를 통해 계산될 수 있다. 가중치 함수(w(x))는 0부터 L+1까지의 정수를 입력 변수로 하는 함수로서, 0 이상 1 이하의 값을 가질 수 있다. 또한 가중치 함수는 입력으로 0을 받을 때, 0 값을 가지며, 입력으로 L+1을 받을 때, 1 값을 가질 수 있다. 가중치 함수는 입력이 증가할수록 증가되거나 같은 값을 갖는 단조증가함수일 수 있다.The weight of each subregion 314 may be calculated via a weight function w (x). The weight function w (x) is a function that takes an integer from 0 to L + 1 as an input variable, and may have a value of 0 or more and 1 or less. In addition, the weight function may have a value of 0 when receiving 0 as an input and having a value of 1 when receiving L + 1 as an input. The weight function may be a monotonically increasing function that increases as the input increases or has the same value.

예컨대, 가중치 함수(w(x))는 w(x)=x/(L+1)와 같은 선형 함수일 수 있으며, 촬영된 이미지(302, 304)의 특성, 예컨대 초점 거리, 피사체, 촬영 장치, 매칭 영역의 크기에 따라 다른 함수, 예컨대 w(x)=0.5*sin[π{x/(L+1)-0.5] + 0.5, w(x)=0.5 * tan[π{x/2(L+1)-0.25}] + 0.5 또는 w(x)= 4{x/(L+1)-0.5}³ + 0.5일 수 있다. 이러한 가중치 함수(w(x))는 사용자의 선택에 의해 변경될 수 있다. 파노라마 이미지 생성 장치의 연산 부담을 줄이기 위해, 가중치 함수(w(x))는 선형 함수로 선택될 수 있다.For example, the weight function w (x) may be a linear function such as w (x) = x / (L + 1), and may include characteristics of the captured images 302 and 304, such as focal length, subject, photographing device, Other functions depend on the size of the matching area, for example w (x) = 0.5 * sin [π {x / (L + 1) -0.5] + 0.5, w (x) = 0.5 * tan [π {x / 2 (L +1) -0.25}] + 0.5 or w (x) = 4 {x / (L + 1) -0.5} ³ + 0.5. This weight function w (x) may be changed by the user's selection. In order to reduce the computational load of the panorama image generating apparatus, the weight function w (x) may be selected as a linear function.

가중치 함수(w(x))의 입력은 세부 영역(314)의 번호라고 할 수 있으며, 이를 입력한 결과가 해당 세부 영역(314)의 가중치라고 할 수 있다. 예를 들면, a번째 세부 영역에 대한 가중치는 a를 가중치 함수의 입력으로 할 때의 가중치 함 수(w(x))의 결과값, 즉 w(a)이다. 여기서 a는 1이상 L이하인 것은 자명하며, 세부 영역(314)의 번호는 결합 방향으로 정해진다고 가정한다. 도 4c에 도시된 예에서, 가장 왼쪽의 세부 영역(314)은 1번째 세부 영역(314)이며, 가장 오른쪽 세부 영역(314)은 L번째 세부 영역(314)일 것이다.The input of the weight function w (x) may be referred to as the number of the detail region 314, and the result of inputting the weight function w (x) may be referred to as the weight of the detail region 314. For example, the weight for the a-th sub-region is the result of the weight function w (x), i.e., w (a) when a is the input of the weight function. Here, it is apparent that a is 1 or more and L or less, and it is assumed that the number of the detailed regions 314 is determined in the joining direction. In the example shown in FIG. 4C, the leftmost detail region 314 will be the first detail region 314 and the rightmost detail region 314 will be the Lth detail region 314.

도 2에 도시된 매칭 영역 블렌딩부(131)는 제 1 이미지(302)와 제 2 이미지(304)의 매칭 영역(308)에 해당하는 영역들을 블렌딩한다.The matching region blending unit 131 illustrated in FIG. 2 blends regions corresponding to the matching region 308 of the first image 302 and the second image 304.

매칭 영역 블렌딩부(131)는 제 2 이미지(304)의 매칭 영역(308)에 해당하는 영역에 속하는 모든 픽셀들의 컬러 정보 값에서 제 1 이미지(302)의 매칭 영역(308)에 해당하는 영역에 속하는 모든 픽셀들의 컬러 정보 값을 뺀 컬러 정보 편차를 계산한다. 예를 들어, 제 1 이미지(302)의 매칭 영역에 해당하는 특정 좌표(i, j)의 픽셀(P₁)의 컬러 정보가 (r₁, g₁, b₁)이고, 상기 특정 픽셀(P₁)에 대응하고 제 2 이미지(304)의 매칭 영역에 해당하는 좌표(i, j)의 픽셀(P₂)의 컬러 정보가 (r₂, g₂, b₂)이라면, 컬러 정보 편차는 (r₂-r₁, g₂-g₁, b₂-b₁)일 것이다. 이 때, 좌표(i, j)는 매칭 영역에 국한한 좌표계에 의해 결정되며, 매칭 영역의 좌상단을 (0, 0)이라 하고, 매칭 영역의 우하단을 (d, m)이라 가정한다.The matching area blending unit 131 is located in the area corresponding to the matching area 308 of the first image 302 in the color information values of all pixels belonging to the area corresponding to the matching area 308 of the second image 304. The color information deviation is calculated by subtracting the color information values of all the pixels to which the pixels belong. For example, the color information of the pixel P ₁ of the specific coordinates i and j corresponding to the matching area of the first image 302 is (r ₁ , g ₁ , b ₁ ), and the specific pixel P _If the color information of the pixel P ₂ of the coordinates (i, j) corresponding to ₁ ) and corresponding to the matching area of the second image 304 is (r ₂ , g ₂ , b ₂ ), the color information deviation is ( r ₂ -r ₁ , g ₂ -g ₁ , b ₂ -b ₁ ). At this time, the coordinates (i, j) are determined by a coordinate system limited to the matching area, and it is assumed that the upper left end of the matching area is (0, 0), and the lower right end of the matching area is (d, m).

그리고 (i, j)에 해당하는 픽셀(P₁, P₂)이 포함된 세부 영역(314)의 번호가 a라고 가정하면, 가중치 함수(w(x))에 a를 입력하여 나온 결과 값, 즉 가중치(w(a))를 컬러 정보 편차에 곱해준다. 그 결과, 가중 컬러 정보 편차가 생성되 며, 그 값은 w(a)(r₂-r₁, g₂-g₁, b₂-b₁)일 것이다. 가중 컬러 정보 편차를 제 1 이미지의 상기 좌표(i, j)에 해당하는 픽셀(P₁)의 컬러 정보에 더해줌으로써 최종 매칭 영역(318)을 생성할 수 있다. 최종 매칭 영역(318)의 (i, j)에 해당하는 픽셀의 최종 컬러 정보는 (r₁+w(a)(r₂-r₁), g₁+w(a)(g₂-g₁), b₁+w(a)(b₂-b₁))일 것이다. In addition, assuming that the number of the detail region 314 including the pixels P ₁ and P ₂ corresponding to (i, j) is a, a result value obtained by inputting a to the weight function w (x), That is, the weight w (a) is multiplied by the color information deviation. As a result, a weighted color information deviation is generated, the value of which will be w (a) (r ₂ -r ₁ , g ₂ -g ₁ , b ₂ -b ₁ ). The final matching area 318 may be generated by adding the weighted color information deviation to the color information of the pixel P ₁ corresponding to the coordinates i and j of the first image. The final color information of the pixel corresponding to (i, j) of the final matching area 318 is (r ₁ + w (a) (r ₂ -r ₁ ), g ₁ + w (a) (g ₂ -g ₁ ), b ₁ + w (a) (b _2- b ₁ )).

이러한 과정은 매칭 영역(308)에 속하는 모든 픽셀들에 대해 수행되며, 연산을 줄이기 위해, 가중치 함수의 결과 값인 가중치가 동일한 세부 영역(314) 단위로 수행될 수 있다.This process may be performed for all pixels belonging to the matching area 308, and in order to reduce arithmetic, weights that are the result of the weighting function may be performed in the same detailed area 314.

더욱 구체적으로, 세부 영역(314)의 개수(L)가 세부 영역(314)의 결합 방향으로의 픽셀 개수(d)와 같은 경우에는 세로로 배열된 픽셀들로 구성되는 세로 라인 별로 가중치가 할당된다. 또한, 가중치 함수가 w(x)=x/(d+1)와 같은 선형 함수인 예에 대해 설명한다.More specifically, when the number L of the detail regions 314 is equal to the number of pixels d in the combining direction of the detail region 314, weights are assigned for each vertical line composed of pixels arranged vertically. . In addition, an example in which the weight function is a linear function such as w (x) = x / (d + 1) will be described.

위의 수식에 따라 최종 매칭 영역(318)의 i번째 라인에 속하는 픽셀들은 (r₁+i(r₂-r₁)/(d+1), g₁+i(g₂-g₁)/(d+1), b₁+i(b₂-b₁)/(d+1))의 최종 컬러 정보를 갖는다.According to the above formula, the pixels belonging to the i-th line of the final matching area 318 are (r ₁ + i (r ₂ -r ₁ ) / (d + 1), g ₁ + i (g ₂ -g ₁ ) / (d + 1), b ₁ + i (b ₂ -b ₁ ) / (d + 1)), and the final color information.

선택적으로, 매칭 영역 블랜딩부(131)는 매칭 영역(308)에 해당하는 제 1 이미지(302)에 속하는 모든 픽셀들의 컬러 정보 값과 매칭 영역(308)에 해당하는 제 2 이미지(304)에 속하는 모든 픽셀들의 컬러 정보 값을 해당 픽셀이 속한 세부 영역(314)의 가중치로 가중 평균함으로써 최종 매칭 영역(318)의 최종 컬러 정보를 생성할 수 있다. Optionally, the matching region blending unit 131 may include color information values of all pixels belonging to the first image 302 corresponding to the matching region 308 and belong to the second image 304 corresponding to the matching region 308. The final color information of the final matching area 318 may be generated by weighted averaging the color information values of all pixels by the weight of the detail area 314 to which the pixel belongs.

예컨대, 매칭 영역의 (i, j)의 픽셀의 컬러 정보는 제 1 이미지의 (i, j)의 픽셀의 컬러 정보와 제 2 이미지의 (i, j)의 픽셀의 컬러 정보를 각각 1-w(a)와 w(a)로 가중 평균하여 계산할 수 있다.For example, the color information of the pixel of (i, j) of the matching area is 1-w, respectively, the color information of the pixel of (i, j) of the first image and the color information of the pixel of (i, j) of the second image, respectively. It can be calculated by weighted average of (a) and w (a).

이와 같이 가중 평균을 사용함으로써 제 1 이미지(302)와 제 2 이미지(304)에 속하는 픽셀들의 컬러 정보들의 차를 구할 필요가 없어, 연산량을 줄일 수 있다.As such, by using the weighted average, it is not necessary to obtain a difference between color information of pixels belonging to the first image 302 and the second image 304, thereby reducing the amount of computation.

이러한 과정도 역시, 연산을 줄이기 위해, 가중치 함수의 결과 값이 동일한 세부 영역(314) 단위로 수행될 수 있다.This process may also be performed in units of subregions 314 having the same result value of the weight function.

본 발명의 기술적 사상을 설명하기 위해서 본 명세서에서는 RGB 색 좌표계를 사용하여 설명하지만, 본 발명이 이로 한정되지 않음에 주의하여야 한다.In order to describe the technical idea of the present invention, the specification will be described using an RGB color coordinate system, but it should be noted that the present invention is not limited thereto.

제 1 이미지와 제 2 이미지가 결합된 최종 파노라마 이미지를 도시하는 도 3e를 참조하면, 도 2에 도시된 파노라마 결합부(132)는 매칭 영역 블렌딩부(131)에서 생성된 최종 매칭 영역(318)을 제 1 이미지(302)의 매칭 영역(308)에 해당하지 않는 영역(306)과 제 2 이미지(304)의 매칭 영역(308)에 해당하지 않는 영역(310)에 결합하여 파노라마 이미지(330)를 생성할 수 있다.Referring to FIG. 3E, which shows a final panoramic image in which a first image and a second image are combined, the panorama combining unit 132 illustrated in FIG. 2 may have a final matching region 318 generated by the matching region blending unit 131. Is combined with an area 306 that does not correspond to the matching area 308 of the first image 302 and an area 310 that does not correspond to the matching area 308 of the second image 304, thereby providing a panoramic image 330. Can be generated.

도 4a의 제 1 이미지(302)와 제 2 이미지(304)를 참조하면, 촬영 위치가 피사체의 중심에 위치함에 따라 피사체에 가까운 부분, 즉 제 1 이미지(302)의 우측과 제 2 이미지(304)의 좌측은 제 1 이미지(302)의 좌측과 제 2 이미지(304)의 우측보다 더 크게 표시된다. 따라서 제 1 이미지(302)에 표시된 집의 지붕은 양의 각도로 기울어지며, 제 2 이미지(304)에 표시된 집의 지붕은 음의 각도로 기울어져 표현된다. 이는 3차원 공간을 2차원 공간으로 표현하면서 발생되는 왜곡, 즉 실제로 같은 길이라도 이미지 촬영 장치의 렌즈와의 거리에 따라 다르게 표현되는 현상에 의한 것이다. 이러한 왜곡은 파노라마 이미지로 제작하는 경우, 이러한 왜곡이 X자 형태로 겹쳐져 나타나게 되거나, 연결된 선임에도 단절된 선으로 표현되어 자연스럽지 않게 결합될 수 있다.Referring to the first image 302 and the second image 304 of FIG. 4A, as the photographing position is located at the center of the subject, a portion closer to the subject, that is, the right side and the second image 304 of the first image 302. ) Is displayed larger than the left side of the first image 302 and the right side of the second image 304. Thus, the roof of the house displayed in the first image 302 is inclined at a positive angle, and the roof of the house displayed in the second image 304 is inclined at a negative angle. This is due to the distortion generated while representing the three-dimensional space as the two-dimensional space, that is, a phenomenon that is expressed differently depending on the distance from the lens of the image photographing apparatus even if the same length is actually used. When the distortion is produced as a panoramic image, the distortion may appear to overlap in the form of an X shape, or may be unnaturally combined by being expressed as a broken line even though it is a connected line.

그러나 도 4e의 최종 매칭 영역(318)을 참조하면, "A"로 표시된 부분이 완만한 곡선으로 휘어져 표현되고 있음을 알 수 있다. 제 1 이미지(302)와 제 2 이미지(304)를 결합하면서 가중치 값을 이용함으로써, X자 형태로 겹쳐져 나타나지 않고 하나의 곡선으로 표시되는 것이다. 넓은 시야각을 갖는 광각 렌즈를 사용한 경우에도 이미지의 주변부에 표시되는 직선은 곡선으로 표시되므로 이러한 현상은 자연스러운 것으로 받아들여질 것이다.However, referring to the final matching area 318 of FIG. 4E, it can be seen that the portion indicated by “A” is curved in a gentle curve. By using the weight value while combining the first image 302 and the second image 304, they are displayed as one curve without overlapping in an X shape. Even when a wide-angle lens having a wide viewing angle is used, this phenomenon will be taken as natural since the straight lines displayed at the periphery of the image are displayed as curved lines.

도 9과 도 10은 위에서 설명한 블렌딩 과정을 거치기 전과 후의 파노라마 이미지를 비교한 결과이다.9 and 10 show a result of comparing the panorama image before and after the blending process described above.

특히 도 10의 블렌딩 전의 도면에서, 제 1 이미지와 제 2 이미지가 결합된 부분이 명확한 선으로 구분되고, 서로 어긋나게 매칭된 것으로 표시된다. 그러나 블렌딩 후의 도면에서는 어긋나게 매칭된 부분이 자연스럽게 바뀌었음을 알 수 있다.In particular, in the drawing before blending of FIG. 10, portions where the first image and the second image are combined are divided into clear lines and are displayed to be mismatched with each other. However, in the drawing after blending, it can be seen that the mismatched parts naturally change.

이제, 도 3의 파노라마 생성부(130b)에 대해 설명한다. 도 3과 함께 도 4a, 4b 및 4e를 참조한다.Now, the panorama generator 130b of FIG. 3 will be described. See Figures 4A, 4B and 4E in conjunction with Figure 3.

이미지 라인 로딩부(135)는 제 1 이미지(302)와 제 2 이미지(304)에 속하는 모든 픽셀들을 라인 단위로 순차적으로 로딩한다. The image line loading unit 135 sequentially loads all pixels belonging to the first image 302 and the second image 304 in units of lines.

상기 라인은 제 1 이미지(302)와 제 2 이미지(304)가 결합하는 결합 방향에 수직하며, 결합 방향 순서대로 로딩될 수 있다. 도 4b를 참조하면, 제 1 이미지(302)의 가장 좌측에 위치한 m개의 픽셀들로 구성된 최좌측 세로 라인부터 로딩되기 시작하여, 다음에는 인접한 우측 세로 라인이 로딩된다. 이와 같은 방식으로 계속하면, 제 1 이미지(302)의 비매칭 영역(306), 제 1 이미지(302)의 매칭 영역(308)과 제 2 이미지(304)의 매칭 영역(308), 제 2 이미지(304)의 비매칭 영역(310)의 순서로 로딩될 것이다.The line is perpendicular to the joining direction in which the first image 302 and the second image 304 join, and may be loaded in order of joining direction. Referring to FIG. 4B, starting from the leftmost vertical line of m pixels located at the leftmost side of the first image 302, the adjacent right vertical line is next loaded. Continuing in this manner, the mismatching region 306 of the first image 302, the matching region 308 of the first image 302 and the matching region 308 of the second image 304, the second image It will be loaded in the order of mismatched region 310 of 304.

매칭 영역 판단부(136)는 이미지 라인 로딩부(135)에서 로딩된 라인이 매칭 영역에 해당하는지의 여부를 판단한다. 매칭 영역에 대한 정보는 도 1에 도시되는 매칭 영역 취득부(120)에서 취득될 수 있다.The matching area determination unit 136 determines whether the line loaded by the image line loading unit 135 corresponds to the matching area. Information about the matching area may be acquired by the matching area obtaining unit 120 shown in FIG. 1.

파노라마 순차 생성부(137)는, 매칭 영역 판단부(136)에서의 판단 결과에 따라, 로딩된 라인이 매칭 영역(308)에 해당하면, 로딩된 라인에 매칭되는 제 2 이미지(304)의 매칭 라인을 로딩할 수 있다.When the loaded line corresponds to the matching area 308, the panorama sequence generating unit 137 matches the second image 304 that matches the loaded line according to the determination result of the matching area determining unit 136. You can load a line.

그 후, 로딩된 라인과 매칭 라인을 상기 라인이 속하는 세부 영역(314)의 가중치를 이용하여 최종 매칭 라인을 생성할 수 있다. 가중치를 이용하여 연산하는 과정은 위에서 상술되었으므로 여기서는 생략하기로 한다.Thereafter, the final matching line may be generated using the loaded line and the matching line by using the weight of the detail region 314 to which the line belongs. Since the operation using the weight has been described above, it will be omitted here.

그 후, 최종 매칭 라인을 로딩된 라인에 해당하는 위치에 삽입하여 파노라마 이미지를 생성할 수 있다.Thereafter, the final matching line may be inserted at a position corresponding to the loaded line to generate a panorama image.

로딩된 라인이 매칭 영역에 해당하지 않는다고 매칭 영역 판단부(136)에서 판단한 경우에는, 로딩된 라인에 해당하는 위치에 삽입하여 파노라마 이미지를 생성할 수 있다.When the matching area determiner 136 determines that the loaded line does not correspond to the matching area, the panoramic image may be generated by inserting the loaded line into a position corresponding to the loaded line.

이미지 라인 로딩부(135)는 제 1 이미지(302)에 속한 모든 픽셀들을 로딩한 후에, 제 2 이미지(304)의 비매칭 영역(310)을 로딩한다. 그러므로, 파노라마 생성부(130b)는 모든 픽셀에 대해 상기 과정을 수행하여 파노라마 이미지(330)를 생성할 수 있다.The image line loading unit 135 loads the mismatched region 310 of the second image 304 after loading all the pixels belonging to the first image 302. Therefore, the panorama generator 130b may generate the panorama image 330 by performing the above process on all pixels.

본 실시예에 따르면, 최종 매칭 영역(318)을 생성하는 동시에 파노라마 이미지(330)를 순차적으로 생성할 수 있으면서도, 연산량이 많지 않으면서도 큰 용량의 메모리 자원이 필요하지 않다. 이와 같은 실시예는 특히 파노라마 이미지(330)를 실시간으로 디스플레이 장치에 표시하거나 다른 장치에 데이터 전송하는 경우에 유리할 것이다. 본 실시예에 따르면, 매칭 영역(308)을 블렌딩함과 동시에 블렌딩된 부분을 디스플레이 화면에 표시할 수 있기 때문이다.According to the present exemplary embodiment, while generating the final matching area 318 and sequentially generating the panorama image 330, a large amount of computation and a large amount of memory resources are not required. Such an embodiment may be particularly advantageous when the panoramic image 330 is displayed on a display device in real time or data is transmitted to another device. According to the present exemplary embodiment, the blended region 308 may be blended and the blended portion may be displayed on the display screen.

이제, 도 1에 도시된 이미지 보정부(140)를 설명한다.Now, the image corrector 140 shown in FIG. 1 will be described.

도 1에 도시된 바와 같이, 이미지 보정부(140)는 매칭 영역 취득부(120)와 파노라마 생성부(130) 사이에 위치하여, 파노라마 생성 전에 이미지를 보정할 수 있다.As illustrated in FIG. 1, the image corrector 140 may be located between the matching area acquirer 120 and the panorama generator 130 to correct an image before generating a panorama.

도 4a 내지 4e를 참조하면, 이미지 보정부(140)는 매칭 영역(308)에 해당하는 제 1 이미지(302)와 제 2 이미지(304)에서 서로 매칭하는 위치를 갖는 소정의 개수의 픽셀들을 선택한다.4A through 4E, the image corrector 140 selects a predetermined number of pixels having positions that match each other in the first image 302 and the second image 304 corresponding to the matching area 308. do.

소정의 개수의 픽셀들은 매칭 영역(308)에 포함되는 미리 결정된, 예컨대 중 앙에 위치하는 일부 영역의 픽셀들일 수 있다. 또는 소정의 개수의 픽셀들은 미리 결정된 개수로 무작위로 선택될 수 있다. 또는, 소정의 개수의 픽셀들은 매칭 영역(308)에 속하는 모든 픽셀들일 수 있다.The predetermined number of pixels may be pixels of a predetermined area included in the matching area 308, for example, located at the center. Alternatively, the predetermined number of pixels may be randomly selected to a predetermined number. Alternatively, the predetermined number of pixels may be all pixels belonging to the matching area 308.

이상적으로 이러한 픽셀들은 제 1 이미지(302)와 제 2 이미지(304)에서 동일한 컬러 정보를 갖는다. 그러나 제 1 이미지(302)와 제 2 이미지(304)를 다른 시간에 촬영하기 때문에, 정확하게 일치할 수 없다. 따라서 동일한 피사체를 촬영된 제 1 이미지(302)와 제 2 이미지(304) 간에도 노출값 및 화이트 밸런스가 다를 수 있다. 이러한 노출값 및 화이트 밸런스의 차이는 제 1 이미지(302)와 제 2 이미지(304) 간에 일정한 차이를 생성한다.Ideally these pixels have the same color information in the first image 302 and the second image 304. However, since the first image 302 and the second image 304 are taken at different times, they cannot be exactly matched. Therefore, the exposure value and the white balance may be different between the first image 302 and the second image 304 photographing the same subject. This difference in exposure value and white balance produces a constant difference between the first image 302 and the second image 304.

이미지 보정부(140)는 선택된 소정의 개수의 픽셀들의 컬러 정보를 제 1 이미지(302)와 제 2 이미지(304)에 대해 평균을 산출하여 제 1 컬러 평균 및 제 2 컬러 평균을 산출한다.The image corrector 140 calculates an average of the color information of the selected predetermined number of pixels with respect to the first image 302 and the second image 304 to calculate the first color average and the second color average.

예를 들어, 컬러 정보가 RGB 색좌표계를 사용한다면, 선택된 픽셀들의 제 1 컬러 평균은 (R1, G1, B1)이고 제 2 컬러 평균은 (R2, G2, B2)일 수 있다.For example, if the color information uses an RGB color coordinate system, the first color average of the selected pixels may be (R1, G1, B1) and the second color average may be (R2, G2, B2).

예를 들어, 제 2 이미지(304)의 노출값이 제 1 이미지(302)의 노출값보다 큰 경우, 제 2 이미지(304)는 제 1 이미지(302)보다 더 밝게 표현될 것이며, 제 2 이미지(304)의 픽셀들은 상대적으로 더 높은 컬러 정보(예컨대 RGB)를 가질 수 있다. 즉, 선택된 픽셀들에 대한 제 2 이미지의 컬러 정보, R₂ + G₂ + B₂ 값은 제 1 이미지의 컬러 정보, R₁ + G₁ + B₁ 값보다 클 수 있다.For example, if the exposure value of the second image 304 is greater than the exposure value of the first image 302, the second image 304 will be represented brighter than the first image 302, and the second image 304 Pixels may have relatively higher color information (eg, RGB). That is, the color information of the second image, R ₂ + G ₂ + B ₂ , for the selected pixels may be greater than the color information of the first image, R ₁ + G ₁ + B ₁ .

뿐만 아니라, 제 2 이미지(304)에 청색 계열의 색상이 많아 이미지 영상 장치(600)가 화이트 밸런스를 청색쪽으로 이동한다면, 제 2 이미지(304)의 픽셀들은 상대적으로 낮은 청색 정보를 가질 수 있다. 즉, 선택된 픽셀들에 대한 제 2 이미지의 청색 정보, B₂ 값은 제 1 이미지의 청색 정보, B₁ 값보다 작을 수 있다.In addition, if the second image 304 has a blue-based color and the image imaging apparatus 600 shifts the white balance toward blue, the pixels of the second image 304 may have relatively low blue information. That is, the blue information and the B ₂ value of the second image for the selected pixels may be smaller than the blue information and the B ₁ value of the first image.

이미지 보정부(140)는 제 1 컬러 평균과 제 2 컬러 평균의 차인 컬러 편차 또는 컬러 비율을 산출할 수 있다.The image corrector 140 may calculate a color deviation or a color ratio that is a difference between the first color average and the second color average.

본 예에서, 컬러 편차는 (R₁-R₂, G₁-G₂, B₁-B₂)일 수 있으며, 컬러 비율은 (R₁/R₂, G₁/G₂, B₁/B₂)일 수 있다. 또는, 이의 역일 수도 있다.In this example, the color deviation may be (R ₁ -R ₂ , G ₁ -G ₂ , B ₁ -B ₂ ), and the color ratio is (R ₁ / R ₂ , G ₁ / G ₂ , B ₁ / B ₂ ). Or vice versa.

이미지 보정부(140)는 산출된 컬러 편차 또는 컬러 비율을 제 1 또는 제 2 이미지에 속한 모든 픽셀의 컬러 정보에 반영할 수 있다.The image corrector 140 may reflect the calculated color deviation or color ratio in the color information of all pixels belonging to the first or second image.

컬러 편차가 (R₁-R₂, G₁-G₂, B₁-B₂)로 정의된 경우, 제 2 이미지(304)에 속한 모든 픽셀의 컬러 정보에 상기 컬러 편차를 더함으로써, 제 2 이미지(304)의 노출값 및 화이트밸런스를 제 1 이미지(302)의 노출값과 화이트밸런스 수준으로 보정할 수 있다. 반대로, 제 1 이미지(302)에 속한 모든 픽셀의 컬러 정보에 상기 컬러 편차를 뺌으로써, 제 1 이미지(302)의 노출값 및 화이트밸런스를 제 2 이미지(304)의 노출값과 화이트밸런스 수준으로 보정할 수 있다.If the color deviation is defined as (R ₁ -R ₂ , G ₁ -G ₂ , B ₁ -B ₂ ), by adding the color deviation to the color information of all the pixels belonging to the second image 304, the second The exposure value and the white balance of the image 304 may be corrected to the exposure value and the white balance level of the first image 302. On the contrary, by subtracting the color deviation from the color information of all the pixels belonging to the first image 302, the exposure value and the white balance of the first image 302 can be corrected to the exposure value and the white balance level of the second image 304. Can be.

이와 마찬가지로 컬러 비율이 (R₁/R₂, G₁/G₂, B₁/B₂)인 경우, 제 1 또는 제 2 이미지(302 또는 304)에 속한 모든 픽셀의 컬러 정보에 곱하거나 나눔으로써, 제 1 이미지(302)와 제 2 이미지(304)의 노출값 및 화이트밸런스를 동일하게 맞출 수 있다.Similarly, if the color ratio is (R ₁ / R ₂ , G ₁ / G ₂ , B ₁ / B ₂ ), multiply or divide the color information of all pixels belonging to the first or second image 302 or 304 by The exposure value and the white balance of the first image 302 and the second image 304 may be equally matched.

이와 같이 노출값과 화이트밸런스를 동일하게 맞춘 후, 보정된 제 1 이미지(302) 또는 보정된 제 2 이미지(304)로부터 파노라마를 생성한다면, 더욱 자연스럽게 결합된 파노라마를 얻을 수 있을 것이다.In this way, if the exposure value and the white balance are equally generated and a panorama is generated from the corrected first image 302 or the corrected second image 304, a more naturally combined panorama may be obtained.

위에서 RGB 색 좌표계를 이용하여 설명하였지만, 다른 색 좌표계를 이용하는 경우에도 적용될 수 있음을 본 기술분야의 당업자들은 이해할 것이다.Although described above using the RGB color coordinate system, those skilled in the art will understand that the present invention can be applied to other color coordinate systems.

이제, 상술한 내용을 바탕으로, 파노라마 이미지 생성 방법을 설명한다.Now, based on the above description, a method of generating a panoramic image will be described.

도 5는 본 발명의 일 실시예에 따른 파노라마 이미지 생성 방법의 흐름도이다.5 is a flowchart of a method of generating a panoramic image according to an embodiment of the present invention.

도 1과 함께 도 5를 참조하면, 이미지 취득부(110)에서 서로 중복된 영역을 갖는 제 1 이미지와 제 2 이미지를 포함하는 다수의 이미지들을 취득한다(S10). 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.Referring to FIG. 5 together with FIG. 1, the image acquisition unit 110 acquires a plurality of images including a first image and a second image having regions overlapping each other (S10). Since it has been described in detail above, a detailed description thereof will be omitted.

그 후, 매칭 영역 취득부(120)에서 제 1 이미지와 제 2 이미지가 서로 중복되는 매칭 영역을 취득한다(S20). 이 때 매칭 영역은 제 1 이미지에 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는다. 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.Thereafter, the matching area acquisition unit 120 acquires a matching area in which the first image and the second image overlap each other (S20). In this case, the matching area has detailed areas divided perpendicular to the combining direction, which is a direction in which the second image is coupled to the first image. Since it has been described in detail above, a detailed description thereof will be omitted.

그 후, 선택적으로, 이미지 보정부(140)에서 제 1 이미지 또는 제 2 이미지를 보정할 수 있다(S40). Thereafter, optionally, the image corrector 140 may correct the first image or the second image (S40).

제 1 이미지와 제 2 이미지의 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영할 수 있다. 이러한 반영은, 제 1 이미지 또는 제 2 이미지에 상기 비율을 곱하거나 나눔으로써 달성할 수 있다. 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.Select a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, calculate the average of the color information of the pixels, respectively, and calculate the ratio of the averages to the first image or the second Can be reflected in all pixels belonging to the image. This reflection can be achieved by multiplying or dividing the ratio by the first image or the second image. Since it has been described in detail above, a detailed description thereof will be omitted.

그 후, 파노라마 생성부(130)에서 제 1 이미지와 제 2 이미지를 결합한 파노라마 이미지를 생성할 수 있다(S30). 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.Thereafter, the panorama generator 130 may generate a panorama image in which the first image and the second image are combined (S30). Since it has been described in detail above, a detailed description thereof will be omitted.

도 6는 본 발명의 제 1 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성 과정을 도시하는 흐름도이다.6 is a flowchart illustrating a panorama generating process of the panorama image generating apparatus according to the first embodiment of the present invention.

도 2와 함께 도 6을 참조하면, 파노라마 생성 과정(S30a)은 매칭 영역 블렌딩 과정(S31)과 파노라마 결합 과정(S32)을 포함할 수 있다.Referring to FIG. 6 together with FIG. 2, the panorama generation process S30a may include a matching region blending process S31 and a panorama combining process S32.

매칭 영역 블렌딩부(131)에서 제 1 이미지와 제 2 이미지의 매칭 영역에 해당하는 영역들을 블렌딩하여 블렌딩 매칭 영역을 생성할 수 있다(S31). 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.The matching region blending unit 131 may generate a blending matching region by blending regions corresponding to the matching regions of the first image and the second image (S31). Since it has been described in detail above, a detailed description thereof will be omitted.

파노라마 결합부(132)에서 블렌딩 매칭 영역을 제 1 이미지와 제 2 이미지의비매칭 영역과 결합하여 파노라마 이미지를 생성할 수 있다(S32). 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.In operation S32, the panorama combiner 132 may combine the blending matching region with the mismatching region of the first image and the second image. Since it has been described in detail above, a detailed description thereof will be omitted.

도 7는 본 발명의 제 2 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성 과정을 도시하는 흐름도이다.7 is a flowchart illustrating a panorama generating process of the panorama image generating apparatus according to the second embodiment of the present invention.

도 3와 함께 도 7을 참조하면, 파노라마 생성 과정(S30b)은 이미지 로딩 과정, 매칭 영역 판단 과정, 및 파노라마 순차 생성 과정을 포함할 수 있다.Referring to FIG. 3 along with FIG. 3, the panorama generation process S30b may include an image loading process, a matching area determination process, and a panorama sequence generation process.

이미지 로딩부(135)에서 제 1 이미지와 제 2 이미지에 속하는 모든 픽셀들을 라인 단위로 순차적으로 로딩하여, 제 1 이미지와 제 2 이미지에 속한 모드 픽셀들을 로딩할 수 있다(S35). The image loading unit 135 may sequentially load all pixels belonging to the first image and the second image in line units, and may load mode pixels belonging to the first image and the second image (S35).

매칭 영역 판단부(136)에서, 로딩된 라인이 매칭 영역에 해당하는지의 여부를 판단할 수 있다(S36).In the matching area determiner 136, it may be determined whether the loaded line corresponds to the matching area (S36).

파노라마 순차 생성부(137)에서, 로딩된 라인이 매칭 영역에 해당하면, 로딩된 라인에 매칭되는 제 2 이미지의 매칭 라인을 로딩할 수 있다(S37). 그 후, 로딩된 라인과 매칭 라인을 가중치를 이용하여 최종 매칭 라인을 생성할 수 있다(S38). 그 후, 최종 매칭 라인을 로딩된 라인에 해당하는 위치에 삽입하여 파노라마 이미지를 생성할 수 있다(S39).If the loaded line corresponds to the matching area, the panorama sequence generator 137 may load the matching line of the second image matching the loaded line (S37). Thereafter, the loaded line and the matching line may be generated using weights to generate a final matching line (S38). Thereafter, the final matching line may be inserted at a position corresponding to the loaded line to generate a panorama image (S39).

파노라마 순차 생성부(137)에서, 로딩된 라인이 매칭 영역에 해당하지 않는다고 판단한 경우에는, 로딩된 라인에 해당하는 위치에 삽입하여 파노라마 이미지를 생성할 수 있다(S39).When the panorama sequence generator 137 determines that the loaded line does not correspond to the matching area, the panorama sequence generating unit 137 may insert the position into the position corresponding to the loaded line to generate a panorama image (S39).

파노라마 생성 과정(S30b)에서, 제 1 이미지에 속한 모든 픽셀들을 로딩한 후에, 제 2 이미지의 비매칭 영역에 속한 모든 픽셀들을 로딩한다. 그러므로, 이 과정에서, 모든 픽셀에 대해 상기 과정이 수행되며, 따라서 파노라마 이미지를 생성할 수 있다.In the panorama generation process S30b, after all pixels belonging to the first image are loaded, all pixels belonging to the mismatched region of the second image are loaded. Therefore, in this process, the above process is performed for all the pixels, so that a panoramic image can be generated.

파노라마 생성 과정(S30b)은 도 3을 참조로 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.The panorama generation process S30b has been described in detail above with reference to FIG. 3, and thus a detailed description thereof will be omitted.

도 8는 본 발명의 선택적인 실시예에 따라서 파노라마 이미지 생성 과정에 포함될 수 있는 이미지의 보정 과정(S40)을 구체적으로 도시하는 흐름도이다.8 is a flowchart specifically illustrating an image correction process S40 that may be included in a panorama image generation process according to an exemplary embodiment of the present invention.

도 8을 참조하면, 이미지의 보정 과정(S40)은 서로 매칭되는 위치를 갖는 소정 개수의 픽셀들을 제 1 이미지와 제 2 이미지에서 선택하는 과정(S42)을 포함할 수 있다.Referring to FIG. 8, the correcting process S40 of the image may include selecting a predetermined number of pixels having a position matching each other from the first image and the second image S42.

이렇게 선택된 픽셀의 컬러 정보를 수집하여, 제 1 이미지에서 선택된 픽셀들의 컬러 정보의 평균인 제 1 평균과 제 2 이미지에서 선택된 픽셀들의 컬러 정보의 평균인 제 2 평균을 산출한다(S44).The color information of the selected pixel is collected to calculate a first average which is an average of color information of pixels selected in the first image and a second average which is an average of color information of pixels selected in the second image (S44).

그 후, 산출된 제 1 및 제 2 평균의 편차 또는 비율을 산출한다(S46). 산출된 평균의 편차 또는 비율을 제 1 이미지 또는 제 2 이미지에 반영한다(S48).Thereafter, the deviation or the ratio of the calculated first and second averages is calculated (S46). The deviation or ratio of the calculated average is reflected in the first image or the second image (S48).

이미지 보정 과정은 위에서 자세히 설명하였으므로 자세한 설명은 생략한다.Since the image correction process has been described in detail above, a detailed description thereof will be omitted.

상술한 본 발명에 따른 파노라마 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 파노라마 영상 생성 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The above-described panorama image generating method according to the present invention may be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the panoramic image generating method may be easily inferred by programmers in the art.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면으로 한정되지 않으며, 아래의 특허청구범위에 의해 결정되는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 치환, 수정 및 변형이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiment and the accompanying drawings, it is possible that various substitutions, modifications and variations within the scope without departing from the spirit of the present invention determined by the claims below, It will be apparent to those skilled in the art to which the invention pertains.

도 1은 본 발명의 일 실시예에 따른 파노라마 이미지 생성 장치를 도시한 블록도이다.1 is a block diagram illustrating an apparatus for generating a panoramic image according to an embodiment of the present invention.

도 2는 본 발명의 제 1 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성부를 도시한 블록도이다.2 is a block diagram illustrating a panorama generating unit of the panorama image generating apparatus according to the first embodiment of the present invention.

도 3은 본 발명의 제 2 실시예에 따른 파노라마 이미지 생성 장치의 파노라마 생성부를 도시한 블록도이다.3 is a block diagram illustrating a panorama generating unit of the panorama image generating apparatus according to the second embodiment of the present invention.

도 4a 내지 4e는 본 발명의 일 실시예에 따른 파노라마 이미지 생성 장치 및 방법을 설명하기 위해 제공되는 예시적인 도면들이다.4A to 4E are exemplary views provided to explain an apparatus and method for generating a panoramic image according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 파노라마 이미지 생성 방법을 도시한 흐름도이다.5 is a flowchart illustrating a panorama image generating method according to an embodiment of the present invention.

도 6은 본 발명의 제 1 실시예에 따른 파노라마 이미지 생성 방법 중 파노라마 생성 과정을 도시한 블록도이다.6 is a block diagram illustrating a panorama generation process in the panorama image generation method according to the first embodiment of the present invention.

도 7은 본 발명의 제 2 실시예에 따른 파노라마 이미지 생성 방법 중 파노라마 생성 과정을 도시한 블록도이다.7 is a block diagram illustrating a panorama generation process in the panorama image generation method according to the second embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 파노라마 이미지 생성 방법에 선택적으로 포함될 수 있는 이미지 보정 과정을 도시한 흐름도이다.8 is a flowchart illustrating an image correction process that may be selectively included in a panorama image generating method according to an embodiment of the present invention.

도 9와 도 10은 본 발명의 일 실시예에 따라 완성되기 전과 후의 파노라마 이미지를 비교한 결과이다.9 and 10 show a result of comparing the panoramic image before and after completion according to an embodiment of the present invention.

Claims (23)

다수의 이미지들을 순차적으로 취득하는 이미지 취득부;An image acquisition unit that sequentially acquires a plurality of images; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득부; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area acquisition unit for acquiring the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성부;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 파노라마 생성부는,The panorama generator, 상기 제 1 이미지와 상기 제 2 이미지의 상기 매칭 영역에 해당하는 픽셀들의 컬러 정보들 및 상기 가중치 함수를 통해 계산되는 상기 세부 영역들 각각의 가중치를 이용하여, 블렌딩 매칭 영역을 산출하는 매칭 영역 블렌딩부; 및A matching area blending unit that calculates a blending matching area by using color information of pixels corresponding to the matching area of the first image and the second image and weights of each of the detail areas calculated through the weighting function. ; And 상기 제 1 이미지의 상기 매칭 영역에 해당하지 않는 영역, 상기 블렌딩 매칭 영역, 및 상기 제 2 이미지의 상기 매칭 영역에 해당하지 않는 영역을 상기 파노라마 이미지로 결합하는 파노라마 결합부;를 포함하며,And a panorama combiner configured to combine an area not corresponding to the matching area of the first image, the blending matching area, and an area not corresponding to the matching area of the second image into the panoramic image. 상기 매칭 영역 블렌딩부는, The matching region blending unit, 상기 세부 영역 단위로, 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에서 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 빼서 컬러 정보 편차를 계산하고, 상기 세부 영역의 가중치와 상기 컬러 정보 편차를 곱하여 가중 컬러 정보 편차를 계산하고, 상기 가중 컬러 정보 편차를 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에 더함으로써, 상기 블렌딩 매칭 영역을 산출하는 것을 특징으로 하는 파노라마 이미지 생성 장치.In the detail region unit, color information deviation is calculated by subtracting color information of pixels corresponding to the detail region of the first image from color information of pixels corresponding to the detail region of the second image. The blending matching area is calculated by calculating a weighted color information deviation by multiplying a weight and the color information deviation, and adding the weighted color information deviation to color information of pixels corresponding to the detail area of the first image. Panoramic image generating device. 삭제delete 삭제delete 제 1 항에 있어서, 상기 매칭 영역 블렌딩부는,The method of claim 1, wherein the matching area blending unit, 상기 세부 영역 단위로, 상기 세부 영역의 가중치를 이용하여 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보와 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 가중 평균함으로써, 상기 블렌딩 매칭 영역을 산출하는 것을 특징으로 하는 파노라마 이미지 생성 장치.By weighted average of the color information of the pixels corresponding to the detail region of the first image and the color information of the pixels corresponding to the detail region of the second image by using the weight of the detail region in units of the detail region, And calculating the blending matching area. 다수의 이미지들을 순차적으로 취득하는 이미지 취득부;An image acquisition unit that sequentially acquires a plurality of images; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득부; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area acquisition unit for acquiring the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성부;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 파노라마 생성부는,The panorama generator, 상기 결합 방향에 수직하고 상기 제 1 이미지와 상기 제 2 이미지의 픽셀들로 구성된 라인을 상기 결합 방향으로 순차적으로 로딩하는 이미지 라인 로딩부;An image line loading unit which sequentially loads a line composed of pixels of the first image and the second image perpendicular to the combining direction in the combining direction; 상기 라인이 상기 매칭 영역에 속하는지의 여부를 판단하는 매칭 영역 판단부;A matching area determination unit that determines whether the line belongs to the matching area; 상기 라인이 상기 매칭 영역에 속하지 않는 경우, 상기 라인을 상기 파노라마 이미지의 상기 라인에 해당하는 위치에 삽입하고, If the line does not belong to the matching area, insert the line at a position corresponding to the line of the panoramic image, 상기 라인이 상기 매칭 영역에 속하는 경우, 상기 라인에 매칭되는 상기 제 2 이미지의 매칭 라인을 로딩하고, 상기 가중치 함수를 통해 계산되는 상기 라인이 속하는 상기 세부 영역의 가중치를 이용하여 상기 라인과 상기 매칭 라인의 최종 라인을 결정하고, 상기 최종 라인을 상기 파노라마 이미지의 상기 라인에 해당하는 위치에 삽입하는 파노라마 순차 생성부When the line belongs to the matching area, the matching line of the second image matching the line is loaded, and the line and the matching are performed by using the weight of the detailed area to which the line belongs by the weighting function. A panorama sequential generation unit that determines a final line of the line and inserts the final line at a position corresponding to the line of the panoramic image. 를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 장치.Panoramic image generating device comprising a. 제 1 항에 있어서,The method of claim 1, 상기 세부 영역의 개수는 상기 매칭 영역의 상기 결합 방향으로의 픽셀 개수와 같은 것을 특징으로 하는 파노라마 이미지 생성 장치.And the number of the detail areas is equal to the number of pixels of the matching area in the combining direction. 제 1 항에 있어서,The method of claim 1, 상기 세부 영역의 개수는 가변될 수 있는 것을 특징으로 하는 파노라마 이미지 생성 장치.And the number of the detailed areas may vary. 다수의 이미지들을 순차적으로 취득하는 이미지 취득부;An image acquisition unit that sequentially acquires a plurality of images; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득부; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area acquisition unit for acquiring the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성부;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 세부 영역의 개수가 L일 때, 상기 가중치 함수는 0 내지 L+1의 정수를 입력 변수로 하고 상기 입력 변수가 0일 때 상기 가중치 함수의 값은 0이고 상기 입력 변수가 L+1일 때 상기 가중치 함수의 값은 1인 단조증가함수인 것을 특징으로 하는 파노라마 이미지 생성 장치.When the number of detail areas is L, the weight function uses an integer of 0 to L + 1 as an input variable, and when the input variable is 0, the value of the weight function is 0 and the input variable is L + 1. And a value of the weight function is a monotonically increasing function of one. 제 8 항에 있어서,The method of claim 8, 상기 가중치 함수는 선형함수인 것을 특징으로 하는 파노라마 이미지 생성 장치.And the weight function is a linear function. 제 1 항에 있어서,The method of claim 1, 제 1 이미지와 제 2 이미지의 상기 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영하는 이미지 보정부를 더 포함하는 것을 특징으로 하는 파노라마 이미지 생성 장치.Select a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, calculate the average of the color information of the pixels, respectively, and calculate the ratio of the averages to the first image or the first image. And an image corrector for reflecting all pixels belonging to the second image. 다수의 이미지들을 순차적으로 취득하는 이미지 취득부;An image acquisition unit that sequentially acquires a plurality of images; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득부; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area acquisition unit for acquiring the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성부;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 제 1 이미지와 제 2 이미지의 상기 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영하는 이미지 보정부를 더 포함하며,Select a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, calculate the average of the color information of the pixels, respectively, and calculate the ratio of the averages to the first image or the first image. It further includes an image correction unit for reflecting all the pixels belonging to the image, 상기 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들의 컬러 정보에 곱하는 것을 특징으로 하는 파노라마 이미지 생성 장치.And multiplying the ratio by color information of all pixels belonging to the first image or the second image. 다수의 이미지들을 순차적으로 취득하는 이미지 취득 단계;An image acquiring step of acquiring a plurality of images sequentially; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득 단계; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area obtaining step of obtaining the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성 단계;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 파노라마 생성 단계는,The panorama generating step, 상기 제 1 이미지와 상기 제 2 이미지의 상기 매칭 영역에 해당하는 픽셀들의 컬러 정보들 및 상기 가중치 함수를 통해 계산되는 상기 세부 영역들 각각의 가중치를 이용하여, 블렌딩 매칭 영역을 산출하는 매칭 영역 블렌딩 단계; 및A matching area blending step of calculating a blending matching area by using color information of pixels corresponding to the matching area of the first image and the second image and weights of each of the detail areas calculated through the weighting function ; And 상기 제 1 이미지의 상기 매칭 영역에 해당하지 않는 영역, 상기 블렌딩 매칭 영역, 및 상기 제 2 이미지의 상기 매칭 영역에 해당하지 않는 영역을 상기 파노라마 이미지로 결합하는 파노라마 결합 단계;를 포함하며,And a panorama combining step of combining an area not corresponding to the matching area of the first image, the blending matching area, and an area not corresponding to the matching area of the second image into the panoramic image. 상기 매칭 영역 블렌딩 단계에서, In the matching region blending step, 상기 세부 영역 단위로, 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에서 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 빼서 컬러 정보 편차를 계산하고, 상기 세부 영역의 가중치와 상기 컬러 정보 편차를 곱하여 가중 컬러 정보 편차를 계산하고, 상기 가중 컬러 정보 편차를 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보에 더함으로써, 상기 블렌딩 매칭 영역을 산출하는 것을 특징으로 하는 파노라마 이미지 생성 방법.In the detail region unit, color information deviation is calculated by subtracting color information of pixels corresponding to the detail region of the first image from color information of pixels corresponding to the detail region of the second image. The blending matching area is calculated by calculating a weighted color information deviation by multiplying a weight and the color information deviation, and adding the weighted color information deviation to color information of pixels corresponding to the detail area of the first image. To create panoramic images. 삭제delete 삭제delete 제 12 항에 있어서, 상기 매칭 영역 블렌딩 단계에서,The method of claim 12, wherein in the matching region blending step, 상기 세부 영역 단위로, 상기 세부 영역의 가중치를 이용하여 상기 제 1 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보와 상기 제 2 이미지의 상기 세부 영역에 해당하는 픽셀들의 컬러 정보를 가중 평균함으로써, 상기 블렌딩 매칭 영역을 산출하는 것을 특징으로 하는 파노라마 이미지 생성 방법.By weighted average of the color information of the pixels corresponding to the detail region of the first image and the color information of the pixels corresponding to the detail region of the second image by using the weight of the detail region in units of the detail region, And calculating the blending matching area. 다수의 이미지들을 순차적으로 취득하는 이미지 취득 단계;An image acquiring step of acquiring a plurality of images sequentially; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득 단계; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area obtaining step of obtaining the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성 단계;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 파노라마 생성 단계는,The panorama generating step, 상기 결합 방향에 수직하고 상기 제 1 이미지와 상기 제 2 이미지의 픽셀들로 구성된 라인을 상기 결합 방향으로 순차적으로 로딩하는 이미지 로딩 단계;An image loading step of sequentially loading a line composed of pixels of the first image and the second image perpendicular to the combining direction in the combining direction; 상기 라인이 상기 매칭 영역에 속하는지의 여부를 판단하는 매칭 영역 판단 단계;A matching area determination step of determining whether the line belongs to the matching area; 상기 라인이 상기 매칭 영역에 속하지 않는 경우, 상기 라인을 상기 파노라마 이미지의 상기 라인에 해당하는 위치에 삽입하고, If the line does not belong to the matching area, insert the line at a position corresponding to the line of the panoramic image, 상기 라인이 상기 매칭 영역에 속하는 경우, 상기 라인에 매칭되는 상기 제 2 이미지의 매칭 라인을 로딩하고, 상기 가중치 함수를 통해 계산되는 상기 라인이 속하는 상기 세부 영역의 가중치를 이용하여 상기 라인과 상기 매칭 라인의 최종 라인을 결정하고, 상기 최종 라인을 상기 파노라마 이미지의 상기 라인에 해당하는 위치에 삽입하는 파노라마 순차 생성 단계When the line belongs to the matching area, the matching line of the second image matching the line is loaded, and the line and the matching are performed by using the weight of the detailed area to which the line belongs by the weighting function. Determining a final line of the line and inserting the final line at a position corresponding to the line of the panoramic image 를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.Panorama image generation method comprising a. 제 12 항에 있어서,13. The method of claim 12, 상기 세부 영역의 개수는 상기 매칭 영역의 상기 결합 방향으로의 픽셀 개수와 같은 것을 특징으로 하는 파노라마 이미지 생성 방법.The number of the detail region is equal to the number of pixels of the matching region in the combining direction. 제 12 항에 있어서,13. The method of claim 12, 상기 세부 영역의 개수는 가변될 수 있는 것을 특징으로 하는 파노라마 이미지 생성 방법.The number of the detail region may vary. 다수의 이미지들을 순차적으로 취득하는 이미지 취득 단계;An image acquiring step of acquiring a plurality of images sequentially; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득 단계; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area obtaining step of obtaining the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성 단계;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 상기 세부 영역의 개수가 L일 때, 상기 가중치 함수는 0 내지 L+1의 정수를 입력 변수로 하고 상기 입력 변수가 0일 때 상기 가중치 함수의 값은 0이고 상기 입력 변수가 L+1일 때 상기 가중치 함수의 값은 1인 단조증가함수인 것을 특징으로 하는 파노라마 이미지 생성 방법.When the number of detail areas is L, the weight function uses an integer of 0 to L + 1 as an input variable, and when the input variable is 0, the value of the weight function is 0 and the input variable is L + 1. And a value of the weight function is a monotonically increasing function of 1. 제 19 항에 있어서,The method of claim 19, 상기 가중치 함수는 선형함수인 것을 특징으로 하는 파노라마 이미지 생성 방법.And the weight function is a linear function. 제 12 항에 있어서,13. The method of claim 12, 제 1 이미지와 제 2 이미지의 상기 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영하는 이미지 보정 단계를 더 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.Select a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, calculate the average of the color information of the pixels, respectively, and calculate the ratio of the averages to the first image or the first image. 2. The method of claim 1, further comprising an image correction step reflected to all pixels belonging to the image. 다수의 이미지들을 순차적으로 취득하는 이미지 취득 단계;An image acquiring step of acquiring a plurality of images sequentially; 상기 다수의 이미지들 중 어느 하나인 제 1 이미지와 상기 제 1 이미지와 결합될 제 2 이미지가 서로 중복되는 매칭 영역으로서, 상기 제 1 이미지에 상기 제 2 이미지가 결합되는 방향인 결합 방향에 수직하게 분할된 세부 영역들을 갖는 상기 매칭 영역을 취득하는 매칭 영역 취득 단계; 및A matching area in which a first image, which is one of the plurality of images, and a second image to be combined with the first image overlap each other, perpendicular to a joining direction, which is a direction in which the second image is combined with the first image. A matching area obtaining step of obtaining the matching area having the divided detailed areas; And 상기 세부 영역들에 대해 정의된 가중치 함수를 이용하여 상기 세부 영역 단위로 상기 제 1 이미지의 상기 매칭 영역에 해당하는 영역과 상기 제 2 이미지의 상기 매칭 영역에 해당하는 영역을 블렌딩하여 결합함으로써 파노라마 이미지를 생성하는 파노라마 생성 단계;를 포함하며,The panoramic image by blending and combining a region corresponding to the matching region of the first image and a region corresponding to the matching region of the second image using the weight function defined for the detail regions. It includes; generating a panorama; 제 1 이미지와 제 2 이미지의 상기 매칭 영역에 해당하는 동일 위치를 갖는 소정 개수의 픽셀들을 선택하고, 상기 픽셀들의 컬러 정보들의 평균을 각각 계산하고, 상기 평균들의 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들에 반영하는 이미지 보정 단계를 더 포함하며,Select a predetermined number of pixels having the same position corresponding to the matching area of the first image and the second image, calculate the average of the color information of the pixels, respectively, and calculate the ratio of the averages to the first image or the first image. It further includes an image correction step to reflect to all the pixels belonging to the image, 상기 비율을 상기 제 1 이미지 또는 상기 제 2 이미지에 속하는 모든 픽셀들의 컬러 정보에 곱하는 것을 특징으로 하는 파노라마 이미지 생성 방법.And multiplying the ratio by color information of all pixels belonging to the first image or the second image. 컴퓨터에 제 12 항, 및 제 15항 내지 제 22 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.A computer readable medium having recorded thereon a program for causing a computer to execute the method of any one of claims 12 and 15 to 22.

Images