KR20210096926A

KR20210096926A - Color Correction Method Using Low Resolution Color Image Of Large-capacity Aerial Orthoimage

Info

Publication number: KR20210096926A
Application number: KR1020200010596A
Authority: KR
Inventors: 소재경; 안수환
Original assignee: 안수환
Priority date: 2020-01-29
Filing date: 2020-01-29
Publication date: 2021-08-06
Also published as: KR102397148B1

Abstract

The present invention provides a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image. The color correction method using a low-resolution color image of a large-capacity aerial orthogonal image includes: (1) a sampling step in which a high-resolution aerial orthogonal image is separated into a rectangular unit image, the overlapping rate of adjacent parts is 1%, and the reference coordinate for location reference information of the separated image has a unit of 10 m; (2) a separating step in which the separated high-resolution aerial orthogonal image is separated into a high-resolution grayscale image of the original resolution and a low-resolution color image; (3) a color correction step for the separated low-resolution color image; and (4) a reproducing step of the color-corrected high-resolution color image by fusing the separated high-resolution grayscale image and the color-corrected low-resolution color image.

Description

대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법{Color Correction Method Using Low Resolution Color Image Of Large-capacity Aerial Orthoimage}Color Correction Method Using Low Resolution Color Image Of Large-capacity Aerial Orthoimage

본 발명은 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법에 관한 것으로, 보다 자세하게는 대용량 항공정사영상을 효율적으로 색상보정을 통해서 저해상도에서 수정된 컬러영상을 기반으로 정사영상의 색상보정에 필요한 작업 단위를 동일한 용량 대비 더 넓게 처리하여 작업량을 획기적으로 줄일 수 있는 대용량 항공정사영상의 효율적인 색상보정 방법이다. The present invention relates to a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image. It is an efficient color correction method for large-capacity aerial orthogonal images that can dramatically reduce the amount of work by processing a larger work unit compared to the same capacity.

항공정사영상 제작은 촬영된 낱장의 항공사진에서 기하학적 왜곡을 제거하는 수치미분 편위수정을 통해 정사보정된다. 이렇게 제작된 낱장의 항공정사영상은 다양한 기법으로 색상과 밝기가 보정되면서 촬영일, 지역, 단위 등 필요에 따라 임의의 단위로 정사영상을 제작하게 된다. 이때 낱장의 정사영상을 일정한 단위로 접합하는 과정을 영상접합 혹은 모자이크라고 한다.Aerial orthogonal image production is orthogonal correction through numerical differential deviation correction that removes geometric distortions from the photographed sheet of aerial photographs. The orthographic image of the sheet produced in this way is corrected in color and brightness using various techniques, and the orthographic image is produced in arbitrary units according to the need such as the shooting date, region, and unit. In this case, the process of splicing orthogonal images of a single sheet in a certain unit is called image splicing or mosaic.

모자이크 정사영상의 단위를 이루는 낱장 정사영상은 종·횡 방향으로 중첩 촬영된 항공사진은 접합선을 경계로 구분되는데, 접합선은 중첩된 정사영상에서 건물, 도로 등과 같은 지형과 지물의 형태를 단절시키지 않는 방향으로 영상의 픽셀 밝기를 계산하여 추출된다. 일반적으로 이 과정은 영상처리 시스템에서 자동화 과정으로 진행되는데 낱장 정사영상에 대한 각각의 색상, 밝기 등을 보정하고 임의 단위에 대해 통일된 색감이 유지되도록 하기위한 유일한 과정이라 할수 있다. 따라서 이 단계가 완료되어 제작된 모자이크 정사영상을 낱장에 해당하는 각 항공사진 영역에 대해 색상보정을 별도로 수행하는 것은 많은 시간과 비용이 발생할 뿐만 아니라 일관된 품질의 성과를 확보하는 것 역시 어렵다.A single sheet orthographic image forming the unit of a mosaic orthographic image is separated by a junction line for aerial photos that are superimposed in the vertical and horizontal directions. It is extracted by calculating the pixel brightness of the image in the direction. In general, this process is an automated process in the image processing system, and it can be said that it is the only process to correct each color, brightness, etc. for a single orthographic image and to maintain a uniform color for an arbitrary unit. Therefore, performing color correction separately for each aerial photo area corresponding to a single sheet of the mosaic orthographic image produced after this step is completed not only takes a lot of time and money, but also makes it difficult to secure consistent quality performance.

정사영상 제작 시 통일된 색상 표현이 중요함에 따라 모자이크 제작 단계에서 색상보정에 많은 시간과 비용이 투입된다. 또한 모자이크 단계에서의 영상 처리는 정사영상의 밝기와 색상을 수정하며, 이때 모자이크 처리되는 낱장 정사 영상에 대한 접합선과 그에 따른 색상 보정 방법은 작업 방법과 소프트웨어마다 상이하다.As uniform color expression is important when producing orthographic images, a lot of time and money is spent on color correction in the mosaic production stage. In addition, the image processing in the mosaic step corrects the brightness and color of the orthographic image. At this time, the junction line for the mosaic-processed orthodox image and the color correction method are different for each work method and software.

이로 인해 세부적인 정사영상 제작 단위 및 모자이크 처리되는 낱장 정사영상 단위마다 인접 경계뿐만 아니라 전체 정사영상이 통일된 색감으로 보이지 않고 그로 인해 격자 모양과 같이 얼룩져 보인다. 특히 대단위 면적의 항공사진을 이용해 정사영상을 제작하기 위해서는 이를 세부적인 단위로 구분한 후 처리하게 되며, 이때 제작되는 정사영상은 제작 단위 및 촬영 시계열 차이, 촬영 센서, 작업방법, 소프트웨어 등 다양한 이유로 인해 밝기와 색상 차이가 나타난다.For this reason, the entire orthogonal image as well as the adjacent borders for each detailed orthographic production unit and mosaic-processed orthographic image unit do not appear in a unified color, and thus appear smudged like a grid. In particular, in order to produce an orthographic image using an aerial photograph of a large area, it is divided into detailed units and then processed. There is a difference in brightness and color.

일반적으로 정사영상에 대한 색상보정 방법은 원본 항공사진을 수정하는 방법 과 정사보정된 항공사진을 수정하는 방법 및 모자이크 후 수정하는 방법이 있으 며, 수천에서 수만 장에 이르는 항공사진으로 정사영상을 제작할 경우에는 그 처리 과정이 복잡할 뿐만 아니라 통일된 색상으로 성과를 제작하는 것은 어렵다. In general, color correction methods for orthographic images include the method of revising the original aerial photograph, the method of revising the orthographic corrected aerial photograph, and the method of retouching after mosaic. In this case, the processing process is complicated and it is difficult to produce results with a uniform color.

대용량 항공정사영상에 대한 색상보정은 정사영상 인접처리나 세부적인 단위 및 전체를 대상으로 진행할 수 있으며 특히 카메라 센서, 시계열, 색상 기준 등에서 차이가 발생하는 경우의 정사영상은 색상보정이 반드시 필요하다. 수천장 이상의 항공사진으로 정사영상을 제작하기 위해서는 대용량 정사영상에 적용할 수 있는 기준 색상을 결정하고 해당 기준에 맞추어 단위별로 성과를 제작한다. Color correction for large-capacity aerial orthopedic images can be carried out for adjacent processing of orthographic images or for detailed units or wholes. In order to produce an orthographic image with thousands of aerial photos, a standard color that can be applied to a large-capacity orthographic image is determined, and results are produced for each unit according to the standard.

이후 단위별로 수정된 정사영상을 일괄적으로 색상보정하여 대용량 정사영상이 통일된 색상을 가지도록 한다. 그러나 이와 같은 방법으로 넓은 면적에 대한 대용량 정사영상을 하나씩 모두 색상보정하는 것은 방법적으로나 양적인 면에서 매우 어려울 수밖에 없다. Thereafter, the orthographic images corrected for each unit are collectively color-corrected so that the large-capacity orthodox images have a uniform color. However, it is inevitably very difficult in terms of method and quantity to color-correct all of the large-capacity orthodox images over a large area in this way one by one.

특히 정사영상을 처리 단위로 분리했을 때 단위 간 인접 부분을 동일하게 처리하는 것이 필요하며 경우에 따라서는 2~9개 단위를 동시에 작업해야 하는 단계가 필요하고 이로 인해 데이터 로딩과 저장이 원활하게 진행되지 않는 문제가 발생한다.In particular, when orthographic images are separated into processing units, it is necessary to process adjacent parts equally between units, and in some cases, it is necessary to work 2 to 9 units at the same time, which facilitates data loading and storage. problems that do not occur.

항공사진 낱장에 대한 색상보정은 자동화 프로세싱을 통해 비교적 일괄적으로 처리할 수 있는 반면 모자이크 정사영상이 제작되고 나면 색상보정을 위해서는 더욱 복잡한 단계와 많은 시간이 요구된다. 또한 좌표를 가진 일정한 크기의 영상으로 제작되기 때문에 인접해 있는 영상간의 공간적 연결성을 유지시키기 위한 과정의 영상 처리가 필요하다. 이때 영상 처리에 필요한 정사영상 크기를 일정 단위로 분할하게 되는데 동일한 면적에 대해 단위 면적을 줄이면 개수가 증 가하고 개수를 줄이면 단위 면적이 증가한다.While color correction for single aerial photos can be processed relatively batch-wise through automated processing, more complicated steps and a lot of time are required for color correction after a mosaic orthographic image is produced. In addition, since images of a certain size with coordinates are produced, image processing is required to maintain spatial connectivity between adjacent images. At this time, the size of the orthogonal image required for image processing is divided into predetermined units. For the same area, if the unit area is reduced, the number increases, and if the number is reduced, the unit area increases.

영상 처리에 적절한 면적을 결정하여 파일 용량을 최적화하고 이를 통해 영 상 처리에 필요한 시간과 수량을 결정할 수 있다. 대단위 면적의 정사영상을 색상보정하기 위해서는 컴퓨터 처리에 요구되는 단위로 분할하여야 하며 이때 적절한 용량과 해상도 조건에 따라 분할 면적이 결정된다. 정사영상 편집을 위해서는 영상 처리를 위한 워크스테이션 및 소프트웨어에서 원활하게 구동될 수 있도록 적절한 용량으로 작업 단위를 설정해야 한다. 따라서 작업 단위 구성은 효율적인 처리가 가능하도록 성능 범위 내에서 최대한의 용량으로 구성되어야 한다. By determining the appropriate area for image processing, the file size can be optimized, and the time and quantity required for image processing can be determined. In order to color-correct an orthoimage of a large area, it must be divided into units required for computer processing, and the division area is determined according to appropriate capacity and resolution conditions. For orthographic editing, it is necessary to set the work unit to an appropriate capacity so that it can run smoothly on the workstation and software for image processing. Therefore, the work unit configuration should be configured with the maximum capacity within the performance range to enable efficient processing.

대용량 정사영상 데이터를 예로 들면 현재 정사영상 제작에 사용되고 있는 무손실 영상 포맷인 tiff, GSD(Ground Sample Distance) 25㎝, 5㎞Х5㎞ 단위로 작업 단위를 구성하면 1.1GB 용량이 되며 편집상에서 추가되는 용량과 동일 작업 단위를 인접 4개 혹은 9개 설정하는 것이 최소한으로 처리할 수 있는 용량이 된다. Taking large-capacity orthographic data as an example, if the work unit is composed of tiff, GSD (Ground Sample Distance) 25cm, 5kmХ5km, which are lossless video formats currently used for orthographic production, 1.1GB capacity is added, and the capacity is added during editing. Setting 4 or 9 adjacent work units equal to and is the minimum processing capacity.

그러나 시간 및 비용 효율적인 측면에서 색상보정을 수행하기 위해서는 작업 단위를 최대한 크게 구성해야 처리할 단위를 최대한으로 줄일 수 있다. 그러므로 작업에 적합한 영상의 용량을 고정시켜 놓고 최대한의 면적을 확 보하기 위해서는 지상해상도를 줄이는 방법이 유일하지만 이것은 정사영상의 기본 조건을 충족하기 위한 원해상도 유지 측면에서 불가능하다.However, in order to perform color correction in terms of time and cost-effectiveness, the work unit should be configured as large as possible to minimize the number of units to be processed. Therefore, the only way to reduce the ground resolution is to fix the image capacity suitable for the work and secure the maximum area, but this is impossible in terms of maintaining the original resolution to satisfy the basic conditions of ortho images.

만약 지상해상도를 줄인 후 최대한의 면적으로 정사영상을 색상보정하고, 다 시 원래 해상도로 정사영상을 되돌릴 수 있는 방법이 있다면 동일한 용량의 영상데이터를 최대한의 면적으로 처리하는 것이 가능할 것이다. 이처럼 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법이 마련되면 정사영상 색상보정에서 효율적인 방안으로 사용될 수 있다. 본 연구에서는 이와 같은 색상보정을 위한 프로토콜을 구축하는 것이 목적이다.If there is a way to color-correct the ortho image to the maximum area after reducing the terrestrial resolution, and to return the ortho image to the original resolution, it will be possible to process the image data of the same capacity with the maximum area. If a batch work method that can handle resolution change and color correction at the same time is prepared like this, it can be used as an efficient method in orthoimage color correction. The purpose of this study is to establish a protocol for such color correction.

대한민국공개특허 제2011-0082903호 '항공사진의 정사보정 및 최적화된 정사영상 제작 방법'은 중심투영에 의해 촬영되고 왜곡이 포함되어 있는 항공사진으로부터 직접 정사영상을 제작 과정에서 뉴튼-랍슨 방법과 같이 복잡하고 반복적인 계산절차가 없으므로, 정사영상을 쉽고 빠르게 제작가능하며, Republic of Korea Patent Publication No. 2011-0082903 'Aerial photo orthographic correction and optimized orthographic image production method' is the same as the Newton-Robson method, Since there is no complicated and repetitive calculation procedure, it is possible to quickly and easily produce an orthodox image.

또한 대한민국등록특허 제1833795호 '왜곡된 항공영상의 정사영상 처리장치'는 촬영이미지를 실시간으로 정사보정해서 해당 정사영상 출력과 더불어 최소한의 시간과 시스템 부하로 해당 촬영이미지에 적용되는 지상기준점 좌표값을 해당 촬영이미지에 합성 출력하는 기능이 크게 향상될 수 있는 동시에 작업 효율성이 증가하는 기술이지만,In addition, Republic of Korea Patent No. 1833795 'orthogonal image processing device of distorted aerial image' corrects the photographed image in real time and outputs the orthoimage, as well as the ground reference point coordinate value applied to the photographed image with minimal time and system load. It is a technology that can greatly improve the function of composite output on the corresponding photographed image and increase work efficiency,

본 발명과 같은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법에 대한 기술적 설명은 없었다. There was no technical description of a batch operation method capable of simultaneously processing resolution changes and color correction of large-capacity aerial orthogonal images as in the present invention.

일반적으로 영상 데이터의 용량 변화와 다양한 처리 기법을 적용할 수 있는 방법 중 하나로 영상융합 기법이 있으며 data fusion, image merging, pan-sharpening 등으로 불려 왔다[이하성 등, 2014]. 영상융합은 인공위성 센서의 물리적 한계로 인해 고해상도의 다중분광 영상을 획득하는 것이 이론적으로 불가능함에 따라[Aiazzi et al., 2002] 고해상도의 전정색(panchromatic) 영상과 저해상도의 다중분광(multi-spectral) 영상을 획득하는 인공위성의 영상을 고해상도 다중분광 영상으로 제작하기 위해 고안된 방법[Tu et al., 2004; Aiazzi et al., 2007]이며 이미 다양한 기법이 개발되어 거의 모든 광학 위성영상에 적용되고 있다.In general, as one of the methods that can change the capacity of image data and apply various processing techniques, there is an image fusion technique, which has been called data fusion, image merging, pan-sharpening, etc. [Lee Hae et al., 2014]. In image fusion, it is theoretically impossible to acquire high-resolution multispectral images due to the physical limitations of satellite sensors [Aiazzi et al., 2002]. Therefore, high-resolution panchromatic images and low-resolution multi-spectral images A method designed to produce high-resolution multispectral images from satellite images that acquire images [Tu et al., 2004; Aiazzi et al., 2007], and various techniques have already been developed and applied to almost all optical satellite images.

본 연구에서는 영상융합 기법을 적용하여 대용량의 항공정사영상에서 시계열, 센서, 제작 방법, 처리 단위 등의 차이로 인해 발생하고 있는 영상의 밝기와 색상 차이를 신속하게 보정할 수 있도록 대용량 항공정사영상의 효율적인 색상보정 방법을 제시하려고 한다. In this study, by applying the image fusion technique, a large-capacity aerial orthogonal image was created in order to quickly correct the difference in brightness and color of the image that occurs due to differences in time series, sensor, production method, processing unit, etc. We try to present an efficient color correction method.

본 발명은 상기한 종래의 제반 문제점을 해소하기 위해 안출된 것으로서, 본 발명의 목적은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법으로 정사영상 색상보정에서 효율적인 방법을 제공함에 있다. The present invention has been devised to solve the above-mentioned problems in the prior art, and an object of the present invention is to provide an efficient method in orthoimage color correction as a batch work method capable of simultaneously processing resolution changes and color correction of large-capacity aerial orthoimages. is to provide.

또다른 본 발명의 목적은 동일한 용량의 영상데이터를 최대한의 면적으로 처리할 수 있도록 지상해상도를 줄인 후 최대한의 면적으로 정사영상을 색상보정하고, 다시 원래 해상도로 정사영상을 되돌릴 수 있는 방법을 제공함에 있다. Another object of the present invention is to reduce the terrestrial resolution so that image data of the same capacity can be processed in the maximum area, then color correct the ortho image to the maximum area, and return the ortho image to the original resolution. is in

상기와 같은 문제점을 해결하기 위해 본 발명은 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법에 있어서, (1) 고해상도 항공정사영상을 사각형의 단위영상로 분리하여 인접부분 중복율이 1%이며, 분리된 영상의 위치참조정보에 대한 기준좌표가 10m 단위를 갖는 표본추출 단계;(2) 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;(3) 상기 분리된 저해상도 컬러영상에 대한 색상 보정 단계;(4) 상기 분리된 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계;를 포함하는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In order to solve the above problems, the present invention provides a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, (1) dividing the high-resolution aerial orthogonal image into a rectangular unit image so that the overlap rate of adjacent parts is 1%, , a sampling step in which the reference coordinates for the location reference information of the separated image have a unit of 10 m; (2) separating the separated high-resolution aerial orthogonal image into a high-resolution grayscale image of the original resolution and a low-resolution color image; (3) the above A color correction step for the separated low-resolution color image; (4) reproducing the color-corrected high-resolution color image by fusing the separated high-resolution grayscale image and the color-corrected low-resolution color image; A color correction method using a color image is provided.

또한 본 발명은 상기 (1)단계의 분리되는 기본 단위는 도심지, 농경지, 산지, 바다로 구분되며,상기 농경지는 경작지 또는 혼합지인 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In the present invention, the basic unit to be separated in step (1) is divided into an urban area, agricultural land, mountain area, and sea, and the agricultural land is cultivated land or mixed land. provides

또한 본 발명은 상기 (2)단계의 고해상도 회색조영상과 저해상도 컬러영상의 분리시, 상기 고해상도 회색조영상는 모두 가로, 세로 2,000픽셀의 크기이며, 상기 저해상도 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이고,상기 분리된 각각의 고해상도 회색조영상과 저해상도 컬러영상의 위치 참조 좌표도 자연수인 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In the present invention, when the high-resolution grayscale image and the low-resolution color image are separated in the step (2), the high-resolution grayscale image has a size of 2,000 pixels horizontally and vertically, and the low-resolution color image is reduced to 1/4 horizontal and vertical 500 pixels. It provides a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, which is a pixel size, and the position reference coordinates of each of the separated high-resolution grayscale images and low-resolution color images are also natural numbers.

또한 본 발명은 상기 (2)단계의 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상으로 분리 변환을 위해 ITU-R BT.601의 밴드별 가중치 값을 적용하는 것에 특징이 있는 대용량 항공정사영상의 효율적인 색상보정 방법을 제공한다. In addition, the present invention is characterized in that the high-resolution aerial orthogonal image of the step (2) is applied to each band weight value of ITU-R BT.601 for separation and conversion into a high-resolution grayscale image of the original resolution. Color correction method is provided.

또한 본 발명은 상기 ITU-R BT.601의 밴드별 가중치 값은 Gray=0299×Red+0587×Green+0114×Blue)를 적용하는 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In addition, the present invention is a color correction using a low-resolution color image of a large-capacity aerial orthogonal image, characterized in that the weight value for each band of the ITU-R BT.601 is Gray=0299×Red+0587×Green+0114×Blue) provide a way

또한 본 발명은 상기 융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가지는 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In addition, the present invention provides that the fused image is a color image with a ground resolution of 25 cm, which is the same resolution as the high-resolution grayscale image, and has the same color as the color-corrected low-resolution color image. provide a way

또한 본 발명은 상기 (4)단계는 융합기법 BDSD을 이용하여 수행한 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법을 제공한다. In addition, the present invention provides a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, characterized in that the step (4) is performed using the fusion technique BDSD.

본 발명은 대용량 항공정사영상의 해상도 변화와 색상보정을 동시에 처리할 수 있는 일괄적인 작업 방법에 관한 거으로 정사영상 색상보정에서 효율성이 높아지게 된다. The present invention relates to a batch operation method capable of simultaneously processing resolution change and color correction of a large-capacity aerial orthographic image, and the efficiency in color correction of orthographic images is increased.

또한 본 발명은 원격탐사 분야에서 인공위성 영상의 융합에 주로 사용되고 있는 영상융합 기법을 고해상도 항공정사영상에 적용하여 저해상도의 수정된 컬러영상을 이용하여 고해상도의 항공정사영상을 제작할 수 있었다.In addition, the present invention was able to produce a high-resolution aerial orthogonal image by using the low-resolution modified color image by applying the image fusion technique, which is mainly used for fusion of satellite images in the remote sensing field, to the high-resolution aerial orthographic image.

도 1은 본 발명에 사용되는 정사영상의 기본 단위는 도심지(urban),농경지(rural), 산지(mountain), 바다(sea)를 각각 포함하는 5개의 표본의 샘플이다.
도 2(a)와 도 2(b)는 고해상도 회색조영상과 저해상도 컬러영상을 1:4의 해상도 비로 분리하는 경우 처리된 회색조영상과 컬러영상의 위치 참조 결과이다.
도 3과 도 4는 회색조 변환에 사용된 소프트웨어에 대한 설명이다.
도 5(a)부터 도 5(e)는 Global Mapper와 PhotoDemon을 이용해 분리한 5개 표본 영상에 대한 데이터 결과이다.
도 6은 색상보정에 대한 설명이다.
도 7은 보정 전후에 대한 히스토그램을 삽입된 보정한 영상이다.
도 8은 영상융합방법에 관한 것으로 5개 표본 영상에 대해 4가지 회색조 변환 방법과 8가지 융합 기법을 적용하여 총 160가지 영상으로 제작된 것을 보여준다.
도 9는 영상융합 기법 적용으로 ENVI[harrisgeospatialcom]를 이용한 것이며,
도 10은 HCS와 Wavelet을 이용한 ERDAS Imagine [hexagongeospatial.com],
도 11은 BDSD, Brovey, IHS, LMM, LMVM 기법을 이용한 PanFusion[pansharpcom(a)]을 보여준다.
도 12는 영상융합 결과의 예로 농경지(혼합)에서 BT.709 회색조 변환 방법으로 제작된 회색조영상과 색상보정된 저해상도 컬러영상(aRmRGB^LR; 도 12 가운데)의 영상융합 결과이다.
도 13은 Image Index Analysis GUI를 이용하는 것을 보여준다.
도 14는 수정된 영상융합과 품질평가이다.
도 15은 GS 기법에서는 서쪽으로 25cm, 북쪽으로 25cm로서 모두 1픽셀 이동한 결과로 제작을 보여준다.
도 16은 색상보정된 영상을 기준으로 융합된 영상에 대해 픽셀-픽셀 단위로 감산하는 래스터 분석을 진행하였으며 이 결과를 삽입결과이다.
도 17은 정성적 품질평가에 대한 것으로 표본 영상마다 지붕, 도로,차선 등과 같이 지형과 지물의 형태 및 명암이 뚜렷한 지역을 선정하여 가로,세로 375m, 각각 150픽셀로 추출하였다.
도 18은 정량적 품질평가 결과이다.
도 19는 정성적 품질평가 결과이다.
도 20은 농경지(혼합)에서 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 21은 농경지(혼합)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 22는 농경지(경작)에서 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 23은 농경지(경작)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 24는 산지에 대한 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 25는 산지에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 26 바다에 대한 영상융합 결과 평가지표별 정량적 품질평가 결과이다.
도 27는 바다에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상이다.
도 28은 영상에 대한 정성적인 분석 결과를 실험 표본에 대한 융합 기법으로 보여준다.1 is a basic unit of an orthogonal image used in the present invention is a sample of five specimens each including an urban area (urban), agricultural land (rural), a mountain area (mountain), and the sea (sea).
2(a) and 2(b) are results of position reference of the processed grayscale image and the color image when the high-resolution grayscale image and the low-resolution color image are separated by a resolution ratio of 1:4.
3 and 4 are explanations of software used for grayscale conversion.
5(a) to 5(e) are data results for five sample images separated using Global Mapper and PhotoDemon.
6 is a diagram for color correction.
7 is a corrected image in which a histogram before and after correction is inserted.
8 is an image fusion method and shows that a total of 160 images were produced by applying 4 grayscale conversion methods and 8 fusion techniques to 5 sample images.
9 is an image fusion technique using ENVI [harrisgeospatialcom],
10 is ERDAS Imagine [hexagongeospatial.com] using HCS and Wavelet,
11 shows PanFusion [pansharpcom(a)] using BDSD, Brovey, IHS, LMM, and LMVM techniques.
12 is an image fusion result of a grayscale image produced by the BT.709 grayscale conversion method and a color-corrected low-resolution color image (aRmRGB ^LR ; in the middle of FIG. 12) in agricultural land (mixed) as an example of the image fusion result.
13 shows using the Image Index Analysis GUI.
14 is a modified image fusion and quality evaluation.
15 shows the production as a result of shifting all 1 pixel to the west by 25 cm and to the north by 25 cm in the GS technique.
16 is a raster analysis of subtracting pixel-pixel units on a fused image based on a color-corrected image, and this result is an insertion result.
17 is for qualitative quality evaluation. For each sample image, a region with a clear shape and contrast of topography and features, such as a roof, a road, a lane, etc., was selected and extracted to 375 m horizontally and vertically, 150 pixels each.
18 is a quantitative quality evaluation result.
19 is a qualitative quality evaluation result.
20 is a quantitative quality evaluation result for each image fusion result evaluation index in agricultural land (mixed).
21 is an image extracted from a color-corrected low-resolution color image and eight fusion images from agricultural land (mixed).
22 is a quantitative quality evaluation result for each image fusion result evaluation index in agricultural land (cultivation).
23 is an image extracted from a color-corrected low-resolution color image and eight fusion images in agricultural land (cultivation).
24 is a quantitative quality evaluation result for each image fusion result evaluation index for a production area.
25 is an image extracted from a color-corrected low-resolution color image and eight fusion images in a mountainous area.
26 is a quantitative quality evaluation result for each image fusion result evaluation index for the sea.
27 is an image extracted from a color-corrected low-resolution color image and eight fusion images in the sea.
28 shows a qualitative analysis result of an image by a fusion technique for an experimental sample.

이하 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 우선, 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail. First, in describing the present invention, detailed descriptions of related known functions or configurations are omitted so as not to obscure the gist of the present invention.

본 명세서에서 사용되는 정도의 용어 '약', '실질적으로' 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.As used herein, the terms 'about', 'substantially' and the like are used in or close to the numerical value when manufacturing and material tolerances inherent in the stated meaning are presented, and provide an understanding of the present invention. To help, precise or absolute figures are used to prevent unfair use by unscrupulous infringers of the stated disclosure.

본 발명은 대용량 항공정사영상의 효율적인 색상보정 방법에 관한 것으로 표본추출, 영상분리, 색상보정, 영상융합, 품질평가 단계로 구성되어 있다. The present invention relates to an efficient color correction method for a large-capacity aerial orthographic image, and consists of sampling, image separation, color correction, image fusion, and quality evaluation steps.

위치 참조(geo-referencing)가 가능한 좌표를 가진 지상해상도 혹은 지상표본거리(GSD; Ground Sample Distance) 25㎝의 컬러 항공정사영상을 실험 표본에 따라 추출한 후, 각각의 영상에 대해 지상해상도 25㎝의 고해상도 회색조영상(GrayscaleHR)과 지상해상도 1m의 저해상도 컬러영상(RGBLR)으로 분리된다. 이때 컬러영상에서 회색조영상으로 변환하는 기법 4가지를 적용하고, 각각의 성과에 따라 자료를 처리한다. 또한 분리된 저해상도 컬러영상은 단계적으로 색상보정하여 표본마다 통일된 색감을 가지도록 하였다(mRGB^LR) 색상보정 결과를 고해상도 회색조영상과 8가지 기법으로 융합하고 그 결과를 영상융합전 색상보정한 저해상도 컬러영상(mRGB^LR)과 비교하는 품질평가로 진행된다.After extracting a color aerial orthogonal image of 25 cm of ground resolution or Ground Sample Distance (GSD) with coordinates capable of geo-referencing according to the experimental sample, for each image, the ground resolution of 25 cm It is divided into a high-resolution grayscale image (GrayscaleHR) and a low-resolution color image (RGBLR) with a terrestrial resolution of 1m. At this time, four techniques for converting color images to grayscale images are applied, and the data are processed according to each performance. In addition, the separated low-resolution color images were color-corrected step by step so that each sample had a uniform color (mRGB ^LR ). It proceeds with quality evaluation compared with the image (mRGB ^{LR ).}

영상융합과 품질평가를 위한 핵심 프레임 워크는 Wald 프로토콜을 따르지만, 원본 영상을 고해상도 컬러영상의 단일 데이터를 사용함에 따라 영상 분리와 지상해상도 조정 과정을 추가하여 사용자화하였다. 또한 원격탐사 분야에서 사용되는 주요 이론에서는 전정색과 다중분광 영상으로 설명되었으나 본 발명에서는 항공정사영상을 회색조와 컬러영상으로 분류함에 따라 각각의 호칭을 회색조영상, 컬러영상으로 정의한다. The core framework for image fusion and quality evaluation follows the Wald protocol, but as the original image uses single data of a high-resolution color image, image separation and terrestrial resolution adjustment processes are added and customized. In addition, the main theories used in the remote sensing field have been described as vestibular and multispectral images, but in the present invention, as aerial orthogonal images are classified into grayscale and color images, each name is defined as a grayscale image and a color image.

1. 고해상도 항공정사영상을 기본 단위로 분리하는 표본추출 단계1. Sampling step of separating high-resolution aerial orthogonal images into basic units

본 발명은 영상융합을 위해 공간해상도 25㎝의 항공정사영상을 이용한다. 영상융합 평가에서 원래의 색상과 밝기 및 노이즈 정도를 제대로 묘사하는 방사 정보가 중요하지만 고해상도 자료를 사용함에 따라 지형과 지물에서 발생하는 선형 오류와 같은 공간 정보가 무엇보다 중요하다. The present invention uses an aerial orthographic image with a spatial resolution of 25 cm for image fusion. Radiation information that accurately describes the original color, brightness, and noise level is important in image fusion evaluation, but spatial information such as linear errors that occur in topography and features as high-resolution data is used is more important than anything else.

도 1은 본 발명에 사용되는 정사영상의 기본 단위는 도심지(urban), 농경지(rural), 산지(mountain), 바다(sea)를 각각 포함하는 5개의 표본의 샘플이다. 1 is a basic unit of an orthogonal image used in the present invention is a sample of five specimens each including an urban area (urban), agricultural land (rural), a mountain area (mountain), and the sea (sea).

특히 농경지의 경우 낮은 산, 건물, 논, 밭 등이 고르게 포함된 혼합지(mix)와 논과 밭으로만 이루어진 경작지(plow)로 구분하였다. 또한 영상에 단순한 색조만이 포함되는 산지, 바다, 농경지 등에 경계가 뚜렷한 인공지물이 포함되도록 영상을 선택하여 융합영상에 대한 정성적 평가에서 공간해상도 분석이 가능하도록 하였다. In particular, in the case of agricultural land, it was divided into mixed land, which contained low mountains, buildings, paddy fields, and fields evenly, and cultivated land consisting only of paddy fields and fields (plow). In addition, the image was selected to include artificial features with clear boundaries, such as mountains, seas, and farmland, where only simple color tones were included, so that spatial resolution analysis was possible in the qualitative evaluation of the fusion image.

본 발명은 자료처리의 실험 조건 하기 표 1과 같이 5개의 표본에 대하여 4가지 회색조 변환 방법과 8가지 영상융합 기법을 각각 적용한다. 실험은 표본마다 32가지로 구분한 결과 전체 실험의 수는 160개가 된다. The present invention applies 4 grayscale conversion methods and 8 image fusion techniques to 5 samples, respectively, as shown in Table 1 below. As a result of dividing the experiments into 32 types for each sample, the total number of experiments is 160.

* 이미지 융합 방법에 사용되는 소프트웨어 : ENVI (GS), ERDAS Imagine (HCS, Wavelet), Matlab Programmin의 PanFusion [pansharp.com] (BDSD, Brovey, IHS, LMM, LMVM* Software used for image fusion method: ENVI (GS), ERDAS Imagine (HCS, Wavelet), Matlab Programmin's PanFusion [pansharp.com] (BDSD, Brovey, IHS, LMM, LMVM)

실험 표본 및 종류별 각 영상 파일에 대한 이름 부여는 표본, 회색조 변환 방법, 수정 유무, 해상도를 합성한 접두어로 정의한다. 도심지는 U, 농경지(혼합)는 aR, 농경지(경작)는 bR, 산지는 M, 바다는 S이고, 회색조 변환 방법은 HSI, HSL, BT.709, BT.601로 정의하였다. 또한 원본 영상은 o, 수정한 영상은m, 융합영상은 IF를 접두어로 사용하였으며, 영상융합한 RGB 영상이 원본 그대로의 고해상도인 경우 HR, lm로 재배열한 저해상도인 경우는 LR을 접미어로 사용하였다. 실험에서 사용된 영상 파일에 대한 이름 정의는 하기 표 2와 같다.The naming of each image file by experimental sample and type is defined as a prefix that combines the sample, grayscale conversion method, correction or not, and resolution. Urban area is U, cropland (mixed) is aR, farmland (cultivated) is bR, mountain is M, and sea is S. Grayscale conversion methods are defined as HSI, HSL, BT.709, and BT.601. In addition, o for the original image, m for the modified image, and IF for the fusion image were used as prefixes. When the fused RGB image is the original high-resolution image, HR is used as a suffix, and LR is used as the suffix for the low-resolution rearranged image. . The name definitions for the image files used in the experiment are shown in Table 2 below.

영상 재배열은 기하학적 투영, 보정 및 위치 참조에 사용되므로 신중하게 선택해야 한다. 최근 보간법은 데이터의 분광 특성 무결성을 보존하지만 영상에 공간적 불연속성이 발생할 수 있다. 3차 회선 보간법은 영상 편집 소프트웨어,프린터 드라이버 및 영상 리샘플링을 위한 많은 디지털 카메라에서 가장 일반적으로 사용되는 방법으로 좋은 공간 특성을 갖지만 분광 특성 값은 특히 날카로운 모서리 주변에서 왜곡되는 특징이 있다.Image rearrangement is used for geometric projection, correction, and positional reference, so it should be chosen carefully. Recent interpolation methods preserve the spectral characteristic integrity of the data, but can introduce spatial discontinuities in the image. Third-order convolutional interpolation is the most commonly used method in image editing software, printer drivers, and many digital cameras for image resampling. It has good spatial characteristics, but the spectral characteristic values are particularly distorted around sharp edges.

영상융합 시 두 영상 간 픽셀 단위로 영상 재배열이 진행되며, 본 연구에서 모든 영상처리에 사용한 영상 재배열 기법은 쌍선형 보간법을 적용하였다. 이 기법은 원래 영상 픽셀의 가장 가까운 2×2 이웃에 있는 4픽셀의 가중치 평균을기반으로 새로운 픽셀의 값을 결정한다. 특히 평균화에는 안티-앨리어싱(anti-aliasing) 효과가 있으므로 계단 효과가 적은 비교적 부드러운 가장자리가 생성된다During image fusion, image rearrangement between two images is performed in pixel units, and bilinear interpolation was applied to the image rearrangement technique used for all image processing in this study. This technique determines the value of a new pixel based on a weighted average of 4 pixels in the nearest 2x2 neighbors of the original image pixel. In particular, averaging has an anti-aliasing effect, resulting in relatively smooth edges with less step effects.

또한 고해상도 항공정사영상을 기본 단위로 분리할 때, 분리된 기본 단위 영상이 인접 영상단위별 바둑판식 배열이 가능하도록 사각형의 단위영상로 분리하며, 인접부분 중복율이 1%이하로 할 수 있다. 분리된 영상의 위치참조정보에 대한 기준좌표가 10m 단위를 갖도록 한다. In addition, when dividing a high-resolution aerial orthogonal image into a basic unit, the separated basic unit image is divided into a rectangular unit image so that a tiled arrangement is possible for each adjacent image unit, and the overlapping rate of adjacent parts can be less than 1%. Let the reference coordinates for the location reference information of the separated image have a unit of 10m.

2. 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;2. Separating the separated high-resolution aerial orthogonal image into a high-resolution grayscale image of the original resolution and a low-resolution color image;

사진, 컴퓨팅 및 비색계(colormetric)에서 회색 음영 또는 회색 명암 영상은각 픽셀의 값이 빛의 양만 나타내는 강도 정보만 전달하는 영상이다. 이런 종류의 영상은 grayscale 또는 greyscale로도 알려져 있으며 가장 어두운 강도의 검정부터 가장 밝은 강도의 흰색으로 구성된 다양한 회색 음영으로 구성된다.In photography, computing, and colormetric, a grayscale or grayscale image is an image in which the value of each pixel conveys only intensity information representing only the amount of light. This kind of image, also known as grayscale or greyscale, consists of different shades of gray, from the darkest intensity of black to the lightest intensity of white.

회색조영상은 1비트의 2색 흑백 영상과 구별된다. 컴퓨터 영상 처리에서는 흑백이라는 2가지 색상의 영상만 있지만 회색조영상에는 여러회색 음영이 있다. 회색조영상은 주파수/파장의 특정 가중치 조합에 따라 각 픽셀에서 빛의 강도를 측정한 결과이며 이러한 경우에는 단일의 좁은 주파수 대역이 수집된다.A grayscale image is distinguished from a 1-bit two-color monochrome image. In computer image processing, there are only two color images, black and white, but grayscale images have several shades of gray. The grayscale image is the result of measuring the light intensity at each pixel according to a specific weighted combination of frequency/wavelength, and in this case, a single narrow frequency band is collected.

비색계 회색조영상은 이미 정의된 회색조 색상 공간을 갖는 이미지로 저장된 샘플값을 표준 색상 공간의 무채색 채널에 매핑하며 이와 같은 색상은 인간의 시감 측정 속성을 기반으로 한다. 원래의 컬러영상에 대해 시각적으로 동일하게 인지할 수 있는 무채색 강도를 갖도록 제작되지 않은 경우 컬러영상을 회색조영상으로 매핑하기 위한 고유한 방법은 없다. 일반적으로 사용되고 있는 8비트 컬러영상을 회색조로 변환하는데 가장 쉽게 사용하고 있는 방법은 8비트 회색조 팔레트에 매핑하는 것으로 빛의 강도를 256단계의 단일 주파수로 변환하는 것이다. 이때 변환하고자 하는 컬러영상에서 각각의 픽셀값을 회색조로 변환하는 방법이 다양하며 밝기, 색상, 채도, 명암 및 색상 표현 방법에따라 저마다의 색공간이 존재하고 그에 따라 컬러를 회색조로 변환하는 방법이 존재한다.A colorimetric grayscale image maps sample values stored as an image having a predefined grayscale color space to an achromatic channel of a standard color space, and these colors are based on human visual perception properties. There is no unique method for mapping a color image to a grayscale image unless it is made to have visually equivalent achromatic intensity to the original color image. The easiest way to convert a commonly used 8-bit color image to grayscale is to map it to an 8-bit grayscale palette, and convert light intensity into a single frequency of 256 steps. At this time, there are various methods for converting each pixel value into grayscale in the color image to be converted, and each color space exists according to brightness, color, saturation, contrast, and color expression method. exist.

임의의 컬러영상을 회색조로 변환하는 것은 일반적으로 고유하지 않으며 컬러의 각 채널에 서로 다른 가중치를 부여하여 다른 색공간으로 변환이 가능하다. 이때 밝기값을 갖는 채널을 이용해 회색조 효과를 나타낼 수 있으며 RGB 색공간은 YUV 및 HSL(Hue-Saturation-Light), HSV(Hue-Saturation-Value) 색공간으로 변환할 수 있다.Conversion of an arbitrary color image to grayscale is not usually unique, and conversion to a different color space is possible by giving different weights to each channel of a color. In this case, a grayscale effect can be expressed by using a channel having a brightness value, and the RGB color space can be converted into YUV, Hue-Saturation-Light (HSL), and Hue-Saturation-Value (HSV) color spaces.

YUV는 컬러 이미지 파이프 라인의 일부로 사용되는 컬러 인코딩 시스템으로 아날로그 또는 디지털 TV와 사진 장비에 적용하기 위한 인터페이스로 사용된다. Y는 밝기를 나타내는 휘도(luminance), UV는 색차정보(chrominance)를 나타내는데 YUV는 Y’UV, YUV, YCbCr, YPbPr 등으로 구분되고 있으나 중복되는 의미를 가지고 있다. 일반적으로 YUV 및 Y’UV는 TV 시스템에서 컬러 정보의 특정 아날로그 인코딩에 사용되었고 YCbCr은 비디오 MPEG 및 JPEG와 같은 정지 영상 압축 및 전송에 적합한 컬러 정보의 디지털 인코딩에 사용되었다. 오늘날 YUV라는 용어는 YCbCr을 사용하여 인코딩된 파일 형식을 설명하기 위해 컴퓨터 분야에서 일반적으로 사용된다.YUV is a color encoding system used as part of the color image pipeline as an interface for application to analog or digital TV and photographic equipment. Y stands for luminance and UV stands for chrominance. YUV is divided into Y’UV, YUV, YCbCr, and YPbPr, but they have overlapping meanings. In general, YUV and Y’UV were used for specific analog encoding of color information in TV systems, and YCbCr was used for digital encoding of color information suitable for still image compression and transmission such as video MPEG and JPEG. Today, the term YUV is commonly used in the computer world to describe a file format encoded using YCbCr.

아날로그 컴포넌트 비디오에 사용된 YPbPr 컬러 모델과 디지털 비디오에 사용되는 YCbCr 디지털 버전은 다소 차이가 있으며 Y’UV라고도 한다. CB/PB 및 CR/PR은 청색-황색 및 적색-시안 축상에서 회색으로부터의 편차이고, U 및 V는 각각 청색-휘도 및 적색-휘도 차이이다.The YPbPr color model used for analog component video and the digital version of YCbCr used for digital video are somewhat different and are also referred to as Y’UV. CB/PB and CR/PR are the deviations from gray on the blue-yellow and red-cyan axes, and U and V are the blue-luminance and red-luminance differences, respectively.

YUV를 적용한 색상표현에서는 실질적으로는 휘도 Y 대신에 감마 보정을 적용한 Y’를 사용한다. 인간의 시각은 빛의 세기에 비례하는 휘도에 선형적으로 반응하지 않는데 어두운 영역에서의 조밀한 차이는 그 차이를 크게 지각하고,In color expression with YUV applied, Y' to which gamma correction is applied is actually used instead of luminance Y. Human vision does not respond linearly to the luminance proportional to the intensity of light, but the dense difference in the dark area perceives the difference significantly,

밝은 영역의 작은 차이는 그 차이를 구별하지 못한다. 따라서 빛의 세기에 선형적으로 반응하여 기록하는 카메라의 휘도 신호는 인간의 시각이 직접 느끼는 지각과는 차이가 있게 된다. 감마 보정이란 입력 신호를 인간의 시각이 지각하는 방식과 유사하게 출력 신호를 비선형적으로 변형시켜 주는 작업이다.A small difference in the bright area cannot tell the difference. Therefore, the luminance signal of the camera, which is recorded in response to the light intensity linearly, is different from the perception directly felt by human eyes. Gamma correction is an operation of non-linearly transforming an output signal similar to the way human vision perceives an input signal.

Y’UV 신호는 일반적으로 RGB 소스로 생성된다. 가중치가 있는 RGB 값은 합쳐져서 전체 밝기 또는 휘도의 측정치인 Y’를 생성하는데 RGB 밴드 각각의 값에 가중치를 적용하면 휘도 Y를 구할 수 있고, 이 값과 R, B를 이용하면 U, V값을 계산할 수 있다. YUV 및 Y’UV에서 휘도 및 밝기를 구하기 위해서는 우선 각각의 가중치를 결정해야 하는데, 이는 인간의 눈이 색상별로 균일하게 인식하지 않기 때문이다. 인간은 빨간색보다 녹색을 강하게, 파란색보다 빨간색을 더 강하게 인식한다. 이것은 진화 생물학의 관점에서 의미가 있는데, 자연 세계의 대부분은 녹색 음영으로 나타나므로 인류는 녹색 빛에 보다 민감하게 진화했다[tannerhelland.com]. Y’UV signals are typically generated with RGB sources. Weighted RGB values are combined to create Y', which is a measure of overall brightness or luminance. By applying a weight to each value of each RGB band, luminance Y can be obtained. Using this value and R and B, U and V values are calculated can be calculated In order to obtain luminance and brightness from YUV and Y’UV, each weight must be determined first, because the human eye does not recognize each color uniformly. Humans perceive green more strongly than red and red more strongly than blue. This makes sense from the point of view of evolutionary biology, where most of the natural world appears as shades of green, so humans have evolved to be more sensitive to green light [tannerhelland.com].

적색, 녹색 및 청색광을 똑같이 처리하는 대신 회색음영 변환은 사람의 눈이 어떻게 인식하는지에 따라 각 색상을 가중시킨다. 영상 처리 소프트웨어 중에서 Global Mapper, Photoshop, Gimp에서 사용하는 변환식은 하기 식(1)과 같으며 이 값은 ITU-R BT.601 권고안과 거의 동일한 값을 가진다.Instead of treating red, green, and blue light equally, grayscale transformation weights each color according to how the human eye perceives it. The conversion formula used in Global Mapper, Photoshop, and Gimp among the image processing software is the same as Equation (1) below, and this value has almost the same value as the ITU-R BT.601 recommendation.

식(1) Formula (1)

국제전기통신연합 (ITU; International Telecommunication Union)에서 아날로그 표준 화질 텔레비전을 스트리밍하기 위한 디지털 영상 프로토콜을 정의 하고 있는데 대표적으로 SDTV(Standard-Definition Television)에 적용하는 ITU-R BT.601[ITU.int(a)]와 HDTV(High-Definition Television)에 적용하는 ITU-R BT.709[ITU.int(b)] 권고안을 사용할 수 있다. The International Telecommunication Union (ITU) defines a digital video protocol for streaming analog standard definition television. Representatively, ITU-R BT.601 [ITU.int (ITU.int) a)] and ITU-R BT.709 [ITU.int(b)] applicable to HDTV (High-Definition Television) can be used.

ITU-R은 국제전기통신연합의 무선통신 부문(Radiocommunication sector of ITU)에서 권고안으로 제공하고 있는 규약이다. 이 권고안을 이용하여 컬러영상의 밴드 각각에 가중치를 적용하여 회색조영상으로 변환할 수 있다.ITU-R is a protocol provided as a recommendation by the Radiocommunication sector of the International Telecommunication Union. By using this recommendation, each band of a color image can be converted into a grayscale image by applying a weight.

우선 ITU-R BT.601 권고안은 WR=0.299, WG=1-WR-WB=0.587, WB=0.114, UMAX=0.436, VMAX=0.615로 정의하며, RGB로부터 계산되는 Y’는 식 (2),Y’UV와 RGB의 변환 매트릭스는 식 (3)과 같다.First of all, the ITU-R BT.601 recommendation defines WR=0.299, WG=1-WR-WB=0.587, WB=0.114, UMAX=0.436, VMAX=0.615, and Y' calculated from RGB is Equation (2), The conversion matrix between Y'UV and RGB is as Equation (3).

식(2)Equation (2)

식(3)Equation (3)

ITU-R BT.709 권고안은 WR=0.2126, WG=0.7152, WB=0.0722로 정의하며 RGB로부터 계산되는 Y’는 식 (4), Y’UV와 RGB의 변환 매트릭스는 식 (5) 과 같다.ITU-R BT.709 Recommendation defines WR=0.2126, WG=0.7152, WB=0.0722. Y' calculated from RGB is as Equation (4), and Y'UV and RGB conversion matrix are as Equation (5).

식(4)Equation (4)

식(5)Equation (5)

HSL(Hue-Saturation-Light)과 HSV(Hue-Saturation-Value)는 0°에서 빨간색으로 시작하여 120° 녹색·초록색과 240° 파란색·주색을 통과해 360°에서 다시 빨간색으로 이루어진 색조(hue)로써 각도 치수의 지오메트리(geometry)를 갖는 원통형의 색공간이다. 각 지오메트리에서 중심 수직축은 밝기 0 또는 값 0의 검정색부터 아래쪽까지의 밝기 1 또는 값 1인 흰색에 이르기까지 중심은 무채색 또는 회색 색상으로 구성된다.Hue-Saturation-Light (HSL) and Hue-Saturation-Value (HSV) are hues starting with red at 0°, passing through 120° green/green and 240° blue/primary, and back to red at 360°. It is a cylindrical color space with angular-dimensional geometry. In each geometry, the center vertical axis consists of an achromatic or gray color, from black with a brightness of 0 or value 0 down to white with a brightness of 1 or value 1 down to the bottom.

두 원통형의 색공간에서 주요 색상과 추가 색상(빨강, 노랑, 녹색, 시안, 파랑, 자홍색)과 인접한 쌍의 선형 혼합(때로는 순수 색상이라고 함)이 원통의 바깥쪽 가장자리에 채도 1이 배열된다. 이렇게 채도 1인 색상은 HSL에서 1/2의 밝기를 가지며 HSV에서는 1의 값을 갖는데 이 순수한 색상을 검은색으로 혼합해도 채도가 변경되지 않는다. HSL에서 채도는 흰색으로 채색하여도 변경되지 않으며 검정색과 흰색의 혼합만이 채도가 1 미만인 반면 HSV에서는 채도만으로 채도가 감소한다.Linear blends of adjacent pairs (sometimes called pure colors) with the primary and additional colors (red, yellow, green, cyan, blue, magenta) in the color space of two cylinders are arranged with saturation 1 on the outer edge of the cylinder. In this way, a color with saturation 1 has a brightness of 1/2 in HSL and a value of 1 in HSV. Even if this pure color is mixed with black, the saturation does not change. In HSL, the saturation is not changed by coloring with white, and only the mixture of black and white has a saturation less than 1, whereas in HSV, the saturation is reduced only by saturation.

가장 단순한 정의는 강도(I; intensity)라고 불리는 HSI 모델로 R, G, B 세 가지 구성 요소의 평균값이다. 이것은 단순히 중립축에 점을 투영 한 것이며 기울어진 큐브에 있는 점의 수직 높이이다. 이 점은 색조와채도의 유클리드(euclid) 거리 계산과 함께 이 표현은 RGB 큐브의 기하학으로 부터 거리와 각도를 유지한다.The simplest definition is an HSI model called intensity (I), which is the average of the three components R, G, and B. This is simply the projection of the point on the neutral axis and is the vertical height of the point on the tilted cube. This point, along with the calculation of the Euclidean distance of hue and saturation, this expression maintains distance and angle from the geometry of the RGB cube.

HSI 모델은 컬러영상을 회색조영상으로 변환하는 가장 쉬운 방법으로 식 (6)과 같이 각 RGB 채널의 값을 평균한다.The HSI model is the easiest way to convert a color image to a grayscale image and averages the values of each RGB channel as shown in Equation (6).

식(6)Equation (6)

이 방법은 가장 합리적인 수준의 회색조를 생성하며 최적화가 용이하다. 그러나 사람의 눈이 인지하는 광도와 비교하여 회색조를 표현하는 것이 좋지 않은 단점이 있다.This method produces the most reasonable level of grayscale and is easy to optimize. However, there is a disadvantage in that it is not good to express grayscale compared to the luminance perceived by the human eye.

HSV 모델에서 값(V; value)은 색상의 가장 큰 구성 요소이며, 이것은 3개의 모든 원색과 모든 2차 색상(시안, 노란색, 마젠타)을 흰색이 있는 평면에 놓고 RGB 큐브에서 육각 피라미드(hexagonal pyramid)를 만든다. 값의 계산은 식 (7)과 같이R, G, B 중 가장 큰 값이다.In the HSV model, the value (V; value) is the largest component of a color, which puts all three primary colors and all secondary colors (cyan, yellow, magenta) in a plane with white and a hexagonal pyramid in the RGB cube. ) to make The calculation of the value is the largest value among R, G, and B as shown in Equation (7).

식(7)Equation (7)

HSL 모델에서 밝기는 가장 큰 색상 구성 요소와 가장 작은 색상 구성 요소의 평균으로 정의된다. 이 정의는 1차 색과 2차 색을 평면에 배치하지만 흰색과 검정색의 중간을 통과하는 평면을 배치한다. 값의 계산은 식 (8)과 같이 R, G, B의 최대값과 최소값의 합을 나누어 계산한다.In the HSL model, brightness is defined as the average of the largest and smallest color components. This definition places the primary and secondary colors on a plane, but a plane that passes halfway between white and black. The value is calculated by dividing the sum of the maximum and minimum values of R, G, and B as in Equation (8).

식(8)Equation (8)

반면, 루마(luma) Y’를 명도 차원으로 사용하는 루마는 감마 보정된 RGB의 가중 평균으로 컬러 TV 방송의 단색 크기로 오랫동안 사용되면서 밝혀진 밝기에 대한 기여도를 기반으로 한다. 이는 앞 절에서 기술된 ITU-R BT.601 및 BT.709의 권고안을 따르는 계수가 사용된다.On the other hand, luma, which uses luma Y' as the brightness dimension, is a weighted average of gamma-corrected RGB, based on its contribution to brightness revealed by its long use as a monochromatic size for color TV broadcasts. For this, coefficients conforming to the recommendations of ITU-R BT.601 and BT.709 described in the previous section are used.

ITU-R BT.709는 Y'709=0.21R+0.72G+0.07B이며, ITU-R BT.601은 Y'601=0.30R+0.59G+0.11B이다.ITU-R BT.709 is Y'709=0.21R+0.72G+0.07B, and ITU-R BT.601 is Y'601=0.30R+0.59G+0.11B.

원격탐사 분야에서는 인공위성의 광학 영상을 이용해 융합 기법을 적용할 때 밴드별로 취득되는 영상을 그대로 사용하게 되며 일반적으로 공간해상도를 가지는 회색조 혹은 전정색 영상과 색상 및 다양한 정보를 가지는 다중분광 영상 혹은 밴드로 구성되어 있다. 여러 가지 분광 특성을 포함하는 다수의 분광해상도에서 전정색 영상과 다중분광 영상의 해상도의 비는 1:4로 적용할 수 있으며 전정색 영상의 공간해상도와 다중분광 영상의 주요 정보로 대상을 효율적으로 구별하는데 적용할 수 있다. In the field of remote sensing, when the fusion technique is applied using the optical image of an artificial satellite, the images acquired for each band are used as they are. Generally, grayscale or full-color images with spatial resolution and multispectral images or bands with color and various information are used. Consists of. In multiple spectral resolutions including various spectral characteristics, the ratio of resolution of vestibular image and multispectral image can be applied as 1:4 It can be applied to distinguish

이에 따라 취득되는 고해상도 전정색 영상과 저해상도 다중분광 영상의 해상도 비는 1:4를 이룬다. 여기서 전정색은 취득 당시 전정색센서를 통해 직접 취득된 영상을 뜻하는 반면 회색조영상은 고해상도 컬러영상에서 변환된 영상을 말한다. Accordingly, the resolution ratio of the high-resolution vestibular image and the low-resolution multispectral image obtained is 1:4. Here, vestibular color refers to an image directly acquired through the vestibular sensor at the time of acquisition, whereas grayscale image refers to an image converted from a high-resolution color image.

또한 인공위성으로 취득되는 다중분광 영상은 컬러외에 적외선을 비롯해 초분광 정보를 의미하는 반면 본 발명에서는 컬러 항공정사영상과 이를 이용해 제작된 해상도별 컬러영상 및 융합영상을 뜻한다.In addition, the multispectral image acquired by artificial satellite means hyperspectral information including infrared rays in addition to color, whereas in the present invention, it means a color aerial orthogonal image and a color image and fusion image for each resolution produced using the same.

본 발명에서는 인공위성의 영상 처리에서 사용하고 있는 융합 기법을 그대로 항공정사영상에 적용함에 따라 그와 동일한 해상도의 비율로 자료를 처리하였다. 고해상도 항공정사영상에서 고해상도 회색조영상과 저해상도 컬러영상으로 분리할 때 해상도의 비율에 따라 영상 전체의 픽셀 수가 다르게 된다. 이로 인해 영상의 위치 참조 정보도 변하게 되며 이를 고려하여 데이터 처리에 필용한 항공정사영상을 추출하여야 한다.In the present invention, data was processed at the same resolution ratio as the fusion technique used in image processing of artificial satellites was applied to aerial orthographic images. When dividing a high-resolution aerial orthogonal image into a high-resolution grayscale image and a low-resolution color image, the number of pixels in the entire image is different according to the resolution ratio. Due to this, the location reference information of the image also changes, and it is necessary to extract the aerial orthogonal image necessary for data processing in consideration of this.

항공정사영상의 표준 포맷은 tiff(tagged image file format)로서 영상 정보와 기준이 되는 위치 정보를 텍스트 파일인 *tfw로 저장하고 있다. 위치 정보는 *tif 영상의 좌·상단 첫 픽셀의 중심점을 기준으로 하는 좌표로 구성되어 있다. 이때 픽셀 크기의 1/2 만큼 +X, -Y 방향으로 이동된 위치가 기준 좌표로입력된다. 이로 인해 영상을 추출하거나 해상도 조정을 할 때 위치 참조를 고려하여야 영상의 연속성을 확보할 수 있다. 여기서 연속성이란 추출되거나 해상도조정이 되는 영상과 인접해 있는 영상과의 공간 해상도 및 분광 해상도가 동일하게 유지되어야 하는 요구이다. 고해상도 항공정사영상은 지형과 지물에 대한공간 묘사를 픽셀 단위로 정보화 하고 있으며 영상에서 픽셀의 연속성이 결여될 경우 위치 및 색상 정보에서 오차가 발생한다.The standard format of the aerial orthogonal image is tiff (tagged image file format), and image information and reference position information are stored as a text file *tfw. The location information consists of coordinates based on the center point of the first pixel on the left and top of the *tif image. At this time, the position moved in the +X and -Y directions by 1/2 of the pixel size is input as the reference coordinates. For this reason, it is possible to secure the continuity of the image by considering the location reference when extracting the image or adjusting the resolution. Here, continuity is a requirement that the spatial resolution and spectral resolution of the extracted or resolution-adjusted image and the adjacent image be kept the same. The high-resolution aerial orthogonal image digitizes the spatial description of terrain and features in pixel units, and when pixel continuity is lacking in the image, errors occur in position and color information.

특히 본 발명에서와 같이 단일의 고해상도 항공정사영상을 이용하여 고해상도 회색조영상과 저해상도 컬러영상을 1:4의 해상도 비로 분리하는 경우 처리된 회색조영상과 컬러영상의 위치 참조 결과는 각각 도 2(a)와 도 2(b)이다. 이에 따라 영상의 공간해상도 변화가 이루어지는 고해상도 항공정사영상에서 회색조와 컬러영상으로 분리할 때 위치 참조가 소수점에서도 좌표가 일관되게 처리될 수있도록 모든 좌표는 자연수로 결정하였다.In particular, when a high-resolution grayscale image and a low-resolution color image are separated by a resolution ratio of 1:4 using a single high-resolution aerial orthogonal image as in the present invention, the position reference results of the processed grayscale image and the color image are shown in Fig. 2(a), respectively. and FIG. 2(b). Accordingly, all coordinates were determined to be natural numbers so that coordinates can be consistently processed even in decimal places with position reference when separating grayscale and color images from high-resolution aerial orthogonal images in which spatial resolution changes are made.

본 발명에서는 영상융합을 실험하기 위해 단일 고해상도 정사영상에서 원본해상도를 그대로 유지한 회색조영상과 공간해상도를 1/4로 낮춘 컬러영상으로 분리하였다. 이때 회색조로 변환하는 방법과 영상 처리시 적용하게 되는 영상재배열 방법에 따라 영상융합 결과가 다르게 나타나는데 회색조영상의 공간 정보와 밝기값이 영상융합 결과에 중요한 영향을 미친다.In the present invention, in order to experiment with image fusion, a grayscale image maintaining the original resolution and a color image with the spatial resolution lowered to 1/4 were separated from a single high-resolution orthogonal image. At this time, the image fusion result appears differently depending on the grayscale conversion method and the image rearrangement method applied during image processing.

본 발명에서 사용한 항공정사영상의 회색조 변환은 하기 표 3과 같이 Y'UV의 ITU-R BT.709 권고안 및 영상 처리 소프트웨어에서 사용되고 있는 변환 방법과 HSI, HSL을 사용하였다. HSV는 입력되는 영상에서 RGB 밴드 중 최대혹은 최소값의 밴드만을 사용하는 것으로 서로 다른 특성을 가진 다량의 영상에 적용하기 위한 방법을 찾는 본 연구의 목적에는 부합하지 않아 제외하였다. 특히 ITU-R BT.601 권고안의 가중치는 영상 처리 소프트웨어에서 적용하고 있는 가중치와 소숫점 3째 자리에서 반올림된 값을 사용함에 따라 본 연구에서는 동일하게 판단하였으며 실험명은 ITU-R BT.601로 정의하였다The grayscale conversion of the aerial orthogonal image used in the present invention was performed using the conversion method used in the ITU-R BT.709 recommendation of Y'UV and the image processing software, HSI, and HSL as shown in Table 3 below. HSV uses only the maximum or minimum band among the RGB bands in the input image, and it was excluded because it did not meet the purpose of this study to find a method to apply to a large number of images with different characteristics. In particular, the weight of the ITU-R BT.601 recommendation was judged the same in this study as the weight applied in the image processing software and the value rounded to the third decimal place were used, and the experimental name was defined as ITU-R BT.601.

회색조 변환에 사용된 소프트웨어는 Global Mapper[bluemarblegeo.com(a)] (도 3)와 PhotoDemon[photodemonorg](도 4)이다.The software used for grayscale conversion is Global Mapper [bluemarblegeo.com(a)] (FIG. 3) and PhotoDemon [photodemonorg] (FIG. 4).

도심지, 농경지(혼합), 농경지(경작), 산지, 바다 등 5개 표본 영상에 대해 해상도 1:4의 비율을 적용하여 지상해상도 25㎝의 고해상도 회색조영상과 해상도 1m의 저해상도 컬러영상으로 분리하였다. 회색조영상은 HSI, HSL, ITU-RBT.709, ITU-R BT.601 방법으로 변환하여 영상 크기는 회색조 변환 기법에 상관없이 모두 가로, 세로 2,000픽셀의 크기이며 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이다.A high-resolution grayscale image with a ground resolution of 25 cm and a low-resolution color image with a resolution of 1 m were separated by applying a ratio of 1:4 resolution to five sample images: downtown, agricultural land (mixed), agricultural land (cultivation), mountainous area, and the sea. Grayscale images are converted by HSI, HSL, ITU-RBT.709, and ITU-R BT.601 methods, so that the image size is 2,000 pixels horizontally and vertically regardless of the grayscale conversion technique, and color images are reduced to 1/4. It is 500 pixels horizontally and vertically.

Global Mapper와 PhotoDemon을 이용해 분리한 5개 표본 영상에 대한 데이터 세트는 도 5(a)부터 도 5(e)과 같다. 각각의 도면에는 좌측 하단에 인덱스맵을 첨부하였으며 좌·상단부터 시계방향으로 원본 컬러영상 oRGB, HSI,HSL, ITU-R BT.601 및 BT.709, 저해상도 컬러영상 RGB^LR으로 배치하였다. 4가지 회색조 변환 방법으로 제작된 회색조영상은 육안으로 구분하기 어렵다.Data sets for five sample images separated using Global Mapper and PhotoDemon are shown in FIGS. 5(a) to 5(e). An index map is attached to the lower left of each drawing, and the original color images oRGB, HSI, HSL, ITU-R BT.601 and BT.709, and low-resolution color images RGB ^LR are arranged clockwise from the top left. Grayscale images produced by four grayscale conversion methods are difficult to distinguish with the naked eye.

원색으로 이루어진 대부분의 건물 지붕이나 옥상 등에서는 밝기에서 차이가 확실히 나타나고 부분적으로도 밝기는 각각의 기법에서 다르게 나타난다. 융합전후 영상간 픽셀 연산 분석 결과를 통해 차이를 명확하게 구분하였다.In most of the building roofs or roofs made of primary colors, there is a clear difference in brightness, and the brightness is partially different in each technique. The difference was clearly distinguished through the pixel calculation analysis results between the images before and after fusion.

영상융합을 위해서는 회색조영상과 컬러영상 사이에서 영상에 대한 픽셀 크기와 영상의 크기를 결정하는 가로, 세로의 픽셀 수가 정확하게 일치하여야 한다. For image fusion, the pixel size of the image and the number of horizontal and vertical pixels that determine the size of the image must exactly match between the grayscale image and the color image.

특히 회색조영상과 컬러영상에서의 해상도 비는 1:4가 되는데, 이에 따라 영상의 기준 좌표가 계산된다. 현재 고해상도 항공사진 정사영상의 경우 무압축 포맷인 tiff 포맷을 사용하며 위치 참조 파일인 *tfw에 영상의 좌·상단 첫 픽셀의 중심점이 기준 좌표로 입력된다. In particular, the resolution ratio of the grayscale image and the color image is 1:4, and the reference coordinates of the image are calculated accordingly. Currently, high-resolution aerial photo orthographic images use the uncompressed format tiff format, and the center point of the first left and upper pixels of the image is input as reference coordinates in *tfw, a location reference file.

본 발명에서는 기준 픽셀 중심점 이동에 대한 오차를 제거하고자 모든 영상은 자연수를 가지도록 기준 좌표를 추출하였다. 그 결과 5개의 표본 영상에 대한 영상 기준 좌표 정보를 분리 전·후로 구분하였으며 하기 표 4의 성과와 같이 추출되었다.In the present invention, the reference coordinates are extracted so that all images have natural numbers in order to remove the error for the movement of the reference pixel center point. As a result, the image reference coordinate information for the five sample images was divided into before and after separation, and it was extracted as shown in Table 4 below.

* 지리 참조 정보(geo-reference)의 첫 번째 행과 두 번째 행 사이의 y, x 축에 대한 회전량은 0.0이며 두 선은 생략됩니다.* The amount of rotation about the y and x axes between the first and second rows of the geo-reference is 0.0, and the two lines are omitted.

3. 저해상도 컬러영상에 대한 색상 보정 단계3. Color correction steps for low-resolution color images

원해상도를 가진 영상으로 지상해상도 1m의 영상이며 이 영상에 대해 각각 색상을 보정하였다. 색상보정은 도 6과 같이 우선 영상 전체적으로 동일한 색상 톤을 가지도록 색상과 밝기를 수정한 후 부분적으로 수정을 하면서 세부적인부분까지 색상 톤이 일관되도록 수정하였다.It is an image with the original resolution, and it is an image with a ground resolution of 1 m, and each color is corrected for this image. As shown in FIG. 6, color and brightness were first corrected to have the same color tone as the whole image, and then partially corrected so that the color tone was consistent down to the details.

보정한 영상은 도 7과 같으며 보정 전후에 대한 히스토그램을 삽입하였다. 색상보정은 밴드에 따라 각각 적용하였으며 산의 그림자와 연무 같이 부분적으로 나타나는 특정 밴드의 과대 효과는 세부적으로 수정하였다. 또한 정성적인 품질 검수에서 해상도 재현 정도를 평가하기 위해 수정된 저해상도 컬러영상에 적용된 색상보정 파라미터를 이용해 색상보정한 고해상도 정사영상을 제작하였다.The corrected image is shown in FIG. 7, and histograms before and after correction are inserted. Color correction was applied for each band, and the exaggerated effect of a specific band, such as mountain shadows and haze, was corrected in detail. In addition, in order to evaluate the degree of resolution reproduction in the qualitative quality inspection, a color-corrected high-resolution orthographic image was produced using the color correction parameters applied to the corrected low-resolution color image.

저해상도 컬러영상에 대한 색상보정은 마스킹과 색상, 밝기 파라미터를 이용하였으며 표본 영상별로 각각 저장하였다. 이를 이용해 원본의 고해상도 컬러영상에 그대로 적용하여 픽셀 단위의 정성적 검수가 가능하도록 하였다.For color correction of low-resolution color images, masking, color, and brightness parameters were used, and each sample image was saved. Using this, it was applied to the original high-resolution color image to enable qualitative inspection in units of pixels.

4. 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 4. The high-resolution grayscale image and the color-corrected low-resolution color image 융합하여by fusion 색상보정된 고해상도의 컬러영상 재생산 단계 Color-corrected, high-resolution color image reproduction stage

영상융합 기법이란 공간해상도가 낮은 다중분광 영상을 융합하여 고해상도의다중분광 영상으로 제작하는 기술이다. 이처럼 영상융합 기법으로 동일한 에너지를 처리하기 위해 커버리지 대비 저해상도 영상을 사용하면 데이터 처리량을 줄일 수 있다.The image fusion technique is a technology for producing high-resolution multispectral images by fusing multispectral images with low spatial resolution. As such, if a low-resolution image compared to coverage is used to process the same energy with the image fusion technique, the data throughput can be reduced.

다양한 축척 및 분광 특성에서 작동하는 영상 센서는 공간 및 분광해상도를Image sensors that operate at various scales and spectral characteristics can achieve spatial and spectral resolution.

갖는 방대한 양의 데이터를 제공하며, 이때 신호대잡음비(signal to noise ratio)에 따른 제약으로 인해 요청된 분광해상도가 더 높을 경우 공간해상도가 낮아야 한다. 반대로 가장 높은 공간해상도는 분광해상도가 없는 전정색 영상을 통해 얻어진다. 이와 같은 분광해상도와 공간해상도의 관계는 저해상도 다중분광 데이터의 공간해상도 향상을 수행하거나, 동일한 해상도로 높은 공간해상도를 갖는 데이터 세트의 분광해상도를 높이는 것이 바람직하지만, 일반적으로 공간해상도는 분광해상도 정보가 없는 고유한 전정색 영상으로만 구성된다.It provides a vast amount of data that has a large amount of data, and at this time, when the requested spectral resolution is higher, the spatial resolution must be lower due to the constraint according to the signal to noise ratio. Conversely, the highest spatial resolution is obtained through full color images without spectral resolution. As for the relationship between spectral resolution and spatial resolution, it is desirable to improve the spatial resolution of low-resolution multispectral data or to increase the spectral resolution of a data set with high spatial resolution with the same resolution. It consists only of a unique vestibular color image that does not exist.

이와 같은 한계를 해결하기 위해, 그동안 많은 방법이 제안되었으며, 그들 중 대부분은 다음의 두 가지 주요 요점으로 요약될 수 있다. In order to solve this limitation, many methods have been proposed so far, most of them can be summarized in the following two main points.

① 전정색 영상으로부터 다중분광 영상에 존재하지 않는 고해상도 기하학적 정보를 추출한다.① Extract high-resolution geometric information that does not exist in multispectral images from vestibular images.

② 다중분광 영상과 전정색 영상 사이의 관계를 적절히 모델링하여 전정색 영상의 공간해상도로 보간된 저해상도 다중분광 영상에 공간적 세부 사항을 융합한다.② By appropriately modeling the relationship between the multispectral image and the vestibular image, spatial details are fused into the low-resolution multispectral image interpolated with the spatial resolution of the vestibular image.

본 발명은 고해상도 정사영상을 고해상도 회색조영상과 저해상도 컬러영상으로 분리한 후 저해상도 컬러영상을 색상보정하고 그 결과와 고해상도 회색조영상을 융합하여 수정된 고해상도 정사영상을 만드는 것이다. 여기서 사용되는 융합 방법은 이미 많은 연구를 통해 개발되었으며 다양한 사례를 통해 소개되었다. 대부분의 광학 위성영상에서 제공되는 전정색 영상과 다중분광 영상을 이용해 고해상도 다중분광 영상을 제작하였다.The present invention separates a high-resolution orthogonal image into a high-resolution grayscale image and a low-resolution color image, color-corrects the low-resolution color image, and fuses the result with the high-resolution grayscale image to create a corrected high-resolution orthographic image. The fusion method used here has already been developed through many studies and introduced through various examples. A high-resolution multispectral image was produced using the full color image and the multispectral image provided by most optical satellite images.

일반적으로 SPOT, IRS, Landsat, IKONOS, QuickBrid 등과 같은 지구 관측 위성과 디지털 항공사진 카메라로부터 취득하는 영상 자료는 고해상도 전정색 영상과 저해상도 다중분광 영상으로 분리하여 획득하고 있으며 이렇게 획득한 영상들은 영상융합을 통해 고해상도 다중분광 영상으로 제작된다. 센서로부터 고해상도 다중분광 영상을 직접 취득하지 않는 주요한 이유는 다음과 같다.In general, image data acquired from earth observation satellites such as SPOT, IRS, Landsat, IKONOS, QuickBrid, etc. and digital aerial photographic cameras are acquired separately into high-resolution full-color images and low-resolution multispectral images. It is produced as a high-resolution multispectral image. The main reasons for not acquiring high-resolution multispectral images directly from the sensor are as follows.

첫 번째로, 센서로 들어오는 에너지의 양과 관계가 있다. 전정색 밴드는 넓은 파장대를 갖고 다중분광 밴드는 좁은 파장대를 갖는데 입사되는 동일한 에너지를 획득하기 위해서는 다중분광 센서보다 더 작은 전정색 센서를 사용할 수 있다. 게다가 센서를 탑재할 수 있는 공간을 줄일 수 있어 더욱 고성능 센서를 탑재할 수 있다. 이런 이유에서 고해상도 다중분광 영상을 직접 획득하는 것보다 고해상도 전정색 영상과 저해상도 다중분광 영상으로 분리하여 획득하는 것이 유리하다.First, it has to do with the amount of energy entering the sensor. The electrochromic band has a wide wavelength band and the multispectral band has a narrow wavelength band. In order to obtain the same incident energy, an electrochromic sensor smaller than the multispectral sensor can be used. In addition, the space for mounting the sensor can be reduced, so that a higher-performance sensor can be mounted. For this reason, it is advantageous to separately acquire a high-resolution full-color image and a low-resolution multispectral image rather than directly acquiring a high-resolution multispectral image.

두 번째로, 센서에 의해 획득하는 영상 데이터의 용량과 관계가 있는데, 고해상도 전정색 밴드와 저해상도 다중분광 밴드로 데이터를 저장하면서 고해상도일수록 그리고 밴드 수가 많을수록 커지는 용량을 최소화 할 수 있는 최적의 요건이 된다. 이로 인해 제한적인 저장 장치에 보다 많은 데이터를 저장할 수 있으며, 후처리를 위한 변환 시간을 절약할 수 있다.Second, it is related to the capacity of the image data acquired by the sensor, and while storing data in high-resolution full color band and low-resolution multispectral band, the higher the resolution and the higher the number of bands, the more optimal the capacity can be minimized. . This allows more data to be stored on limited storage devices and saves conversion time for post-processing.

본 발명에서는 항공정사영상을 이용해 영상융합 기법을 적용하고 가장 적합한융합 기법을 결정하기 위해 BDSD, Brovey, GS, HCS, IHS, LMM, LMVM, Wavelet 등 8가지 융합 기법에 대하여 먼저 설명한다.In the present invention, eight fusion techniques such as BDSD, Brovey, GS, HCS, IHS, LMM, LMVM, and Wavelet will be first described in order to apply the image fusion technique using an aerial orthographic image and determine the most suitable fusion technique.

BDSDBDSD

초분광(hyper-spectral) 영상융합에서는 전정색에서 추출한 공간 정보를 조건 없이 직접 주입하면 만족스럽지 않은 결과가 나타난다. 가능한 방법은 해상도 저하 및 원본 초분광 데이터와 융합된 결과 사이의 MSE(Mean-Square Error) 최소화로 시뮬레이션 융합을 통해 공간 개선을 위한 최적의 전략을 제공하는 주입 모델을 설계하는 것이다. In hyper-spectral image fusion, unsatisfactory results appear when spatial information extracted from vestibular color is directly injected without conditions. A possible method is to design an implantation model that provides an optimal strategy for spatial improvement through simulation fusion with resolution degradation and minimization of the mean-square error (MSE) between the original hyperspectral data and the fused result.

원래 Capobianco et al (2007)에서 제안된 MMSE(Minimum Mean-Square Error) 방법은 초분광 영상의 영상융합을 위한 것이지만 다중분광 영상의 공간 해상도 향상을 위한 방법으로도 성공적으로 확장되었다. 전정색 영상으로부터 추출된 최적의 세부 영상은 대역의존 일반화강도(band-dependent generalized intensities) 평가에 따라 각각의 초분광 밴드로 계산된다.Although the MMSE (Minimum Mean-Square Error) method originally proposed by Capobianco et al (2007) is for image fusion of hyperspectral images, it has been successfully extended as a method for improving spatial resolution of multispectral images. The optimal detailed image extracted from the vestibular image is calculated for each hyperspectral band according to the band-dependent generalized intensities evaluation.

BDSD(Band-Dependent Spatial-Detail) 융합 기법은 다중분광 영상에서 고해상도의 공간적 세부 사항을 도입하기 위한 영상융합 및 주입 모델을 기반으로한다. The BDSD (Band-Dependent Spatial-Detail) fusion technique is based on an image fusion and implantation model to introduce high-resolution spatial detail in multispectral images.

융합된 영상의 품질 인자에 반응하는 최적의 영상융합 알고리즘으로 MMSE 융합이 개발되었으며 Wavelet 융합에서 고해상도 공간 디테일(high-resolution spatial detail) 주입과 관련된 파라미터를 최적화하도록 설계되었다. 주파수 응답이 MTF의 모양과 일치하는 저역통과필터링(low pass filtering)을 사용하여 데이터의 공간해상도 향상을 개선하는 것이며, 다중분광데이터에 공간 디테일을 주입하는 융합 처리 단계에서 융합된 영상의 품질에 다양한 파리미터와 절차를 고려하기 위한 것이다. 알고리즘은 선형주입모델(linear injection model)과 국소 MMSE 파라미터 추정을 통합한다.MMSE fusion has been developed as an optimal image fusion algorithm that responds to the quality factor of the fused image, and it is designed to optimize parameters related to high-resolution spatial detail injection in Wavelet fusion. The improvement of spatial resolution of data is improved by using low pass filtering whose frequency response matches the shape of the MTF, and the quality of the fused image is varied in the fusion processing step that injects spatial detail into multispectral data. It is intended to take into account parameters and procedures. The algorithm integrates a linear injection model and local MMSE parameter estimation.

전정색(PAN)에서 추출한 최적의 디테일 영상(optimal detail image)은 N개의 다중분광에서 대역별 일반화된 강도(band-dependent generalized intensity)로 평가된 각각의 다중분광 밴드에 대해 계산되는 선형주입모델을 제안한다.The optimal detail image extracted from the vestibular color (PAN) is a linear injection model calculated for each multispectral band evaluated as a band-dependent generalized intensity for each N multispectrum. suggest

식(9)Equation (9)

상기 식 (9)은 N×(N+1) 파라미터를 설명하는 식으로 여기서 N을 구하는 g₁ 및 N₂의 가중치 a_1,k를 설명하는 식 (10)을 표현하면Equation (9) above is an expression for explaining the N×(N+1) parameter, and if expression (10) for explaining the weights a _1,k _{of g 1} _{and N 2 that obtains N here is expressed}

식(10)Equation (10)

N×(N+1)?狼? 파라미터의 집합을 재정의하여 식 (11)과 같이 추정할 수 있다. N×(N+1)?狼? It can be estimated as in Equation (11) by redefining the set of parameters.

식 (11)Equation (11)

그리고, 식 (12)과 같이 간결하게 표현하면,And, if expressed concisely as in Equation (12),

식(12)Equation (12)

여기서

는 RNrNc 행과 (N+1) 열과

을 갖는 선형모델의 관측 행열이다. 특히 N×(N+1) 파라미터는 MMSE의 관점에서 MVUE(Minimum Variance Unbiased Estimator) 식 (13)에 따라 추정된다.here

is RNrNc with row and (N+1) column

It is the observation matrix of the linear model with . In particular, the N×(N+1) parameter is estimated according to the MVUE (Minimum Variance Unbiased Estimator) equation (13) in terms of the MMSE.

식 (13)Equation (13)

여기서, 아래 첨자 d는 데이터가 먼저 다중분광에서 고려된 후 전정색 해상도로 업샘플링 되었음을 나타낸다Here, the subscript d indicates that the data were first considered in multispectral and then upsampled to full color resolution.

BroveyBrovey

저자의 이름을 따서 명명된 Brovey 변환은 다중분광 영상의 비율을 이용해 영상을 선명하게 만든다. 이 방법에서, 다중분광 영상은 정규화되고 정규화된 다중분광 영상에 전정색 영상을 곱함으로써 융합된 다중분광 영상의 각 밴드가 얻어진다. Brovey 변환은 식(14)과 같이 표현할 수 있다The Brovey transform, named after the author, sharpens the image using the ratio of the multispectral image. In this method, the multispectral image is normalized and each band of the fused multispectral image is obtained by multiplying the normalized multispectral image by the vestibular image. The Brovey transform can be expressed as Equation (14).

식 (14)Equation (14)

여기서 i ={1,2,3}이며 가중치 및 근적외선(NIR; Near Infra-Red) 대역을 사용함으로써 Brovey 변환은 근적외선 채널의 통합을 필요로 하는 특정 애플리케이션에 적합하도록 적용시킬 수 있다. 근적외선 대역이 추가된 알고리즘은 식(15)과 같으며, 여기서 wx는 x={1,2,3, NIR} 및 i = {1,2,3,NIR}를 갖는 가중 인자이다.where i = {1,2,3} and by using weights and Near Infra-Red (NIR) bands, the Brovey transform can be adapted for specific applications that require the integration of near-infrared channels. The algorithm to which the near-infrared band is added is the same as Equation (15), where wx is a weighting factor with x={1,2,3, NIR} and i = {1,2,3,NIR}.

식 (15)Equation (15)

여기서 BT_iNIR은 융합된 영상 채널 결과를 나타내고 bi는 다중분광 영상의 특정 대역을 나타낸다. Brovey 변환은 영상 영역에서 우수한 대비를 제공하지만 주파수 대역 특성에 많은 영향을 미친다. Brovey로 변환된 영상은 픽셀값이 크게 변경되므로 픽셀 기반 분류에 적합하지 않다Here, BT _iNIR denotes the result of the fused image channel and bi denotes a specific band of the multispectral image. Although the Brovey transform provides excellent contrast in the image domain, it has a great influence on the frequency band characteristics. Brovey-transformed images are not suitable for pixel-based classification because pixel values change significantly.

Gram-SchmidtGram-Schmidt

2명의 수학자의 이름을 따서 명명된 GS(Gram-Schmidt) 단위직교화 (ortho-normalization)는 내적공간에서 유한개의 일차독립 벡터 집합을 정규직교 기저로 변환하는 방법이며 Laben et al (2000)은 주어진 공간에서 벡터 집합을 직교 정규화 하는 방법에 대해 GS 주파수 대역 선명화로 특허를 받았다.GS (Gram-Schmidt) ortho-normalization, named after two mathematicians, is a method of transforming a finite set of linearly independent vectors into an orthonormal basis in the dot product space, and Laben et al (2000) Patented as GS frequency band sharpening for a method for orthogonal normalizing a set of vectors in space.

영상융합에서는 재구성된 다중분광 영상과 전정색 밴드를 GS로 변환하는데 적용되고 각 영상 채널은 하나의 고차원 벡터에 해당한다. 히스토그램이 일치된 전정색 밴드는 첫 번째 GS 구성 요소를 대체하고 역변환은 실제 융합된 영상을 생성한다. In image fusion, it is applied to transform the reconstructed multispectral image and the vestibular band into GS, and each image channel corresponds to one high-dimensional vector. The histogram-matched vestibular band replaces the first GS component and the inverse transform produces the actual fused image.

먼저 전정색(PAN)은 식 (16)에 기술된 다중분광(MS) 영상 v개의 밴드들의 선형 조합을 사용한다.First, the vestibular color (PAN) uses a linear combination of v bands of the multispectral (MS) image described in equation (16).

식 (16)Equation (16)

전정색은 다중분광 대역에서 n={1,2,3, ...,n} 으로 실행된 전정색 영상이고The vestibular color is a vestibular image performed with n={1,2,3, ...,n} in the multispectral band.

각 밴드는 전정색을 첫 번째 벡터로 선택하는 고차원의 벡터로 간주된다. 그런 다음 GS 변환은 서로 직교하고 정규화된 일련의 벡터를 생성한다.Each band is considered a high-order vector with vestibular color as the first vector. The GS transform then produces a series of vectors orthogonal to each other and normalized.

식 (2-17)과 같이 벡터 a와 b와 내적 <a/b>에 대한 투영 연산자 Proj_a을 적용한다. As shown in Equation (2-17), the projection operator Proj _a for vectors a and b and the dot product <a/b> is applied.

식 (17)Equation (17)

이 연산자는 벡터 a가 뻗어 있는 선 위로 벡터 b을 직각 투영한다. GS 프로This operator orthogonally projects vector b onto the line that vector a extends. GS Pro

세스는 식 (18)에 표시된 단계들을 따른다.Seth follows the steps indicated in equation (18).

식 (18)formula (18)

여기서 a₁,...,a_m은 직교 벡터를 생성하고, 정규화된 직교 벡터를 식 (19)을사용하여 직교 정규화된 c₁,...,c_m벡터로 생성하고 m을 다중분광 대역의 수에 전정색 채널을 더한 것으로 즉 m=n+1이다.where a ₁ ,...,a _m generates an orthogonal vector, the normalized orthogonal vector is generated as an orthogonally normalized c ₁ ,...,c _m vector using Equation (19) and m is the multispectral band is the sum of the vestibular channels to the number of , that is, m=n+1.

식 (19)Equation (19)

융합 과정에서 입력 대역과 전정색 영상 사이의 각도를 계산하고 전정색을 직각으로 만들기 위해 밴드를 회전시키는 반복 과정이다. 실제 융합은 전방 GS 변환 이후에 이루어진다. 저해상도 전정색은 증폭 및 편중 조정된 고해상도 전정색 밴드로 대체되고 모든 다중분광 밴드는 동일한 해상도로 재배열(resampling)된 고해상도 채널의 계수를 사용하여 역 GS 변환 융합영상을 원래 공간으로 변환한다.It is an iterative process of calculating the angle between the input band and the vestibular image in the fusion process and rotating the band to make the vestibular color perpendicular. The actual fusion takes place after the forward GS transformation. The low-resolution vestibular color is replaced by the amplified and bias-adjusted high-resolution vestibular band, and all multispectral bands are converted to the original space using the coefficients of the high-resolution channel resampling to the same resolution.

HCSHCS

HCS(Hyperspherical Color Space)는 IHS(Intensity-Hue-Saturation) 색공간과 매우 유사하다. 단일 강도 성분은 v차원의 초구공간(hyperspherical space)으로부터 분리된다. v개의 대역을 가진 영상의 경우 v차원 데카르트 공간과 차원 HCS 변환은 다음 방정식에 따라 밝기 성분과 n-1각을 형성한다.HCS (Hyperspherical Color Space) is very similar to IHS (Intensity-Hue-Saturation) color space. The single intensity component is separated from the v-dimensional hyperspherical space. For an image with v bands, v-dimensional Cartesian space and dimensional HCS transform form an n-1 angle with a brightness component according to the following equation.

HCS 영상융합 과정은 식 (20)과 같다.The HCS image fusion process is shown in Equation (20).

여기서 I는 강도, Φ는 각도, x_i는 네이티브 색공간의 i^th번째의 성분이다. 새로운 강도 구성요소를 계산하려면 식 (21)을 사용한다. where I is the intensity, Φ is the angle, and x _i is the i ^th component of the native color space. Equation (21) is used to calculate the new strength component.

식(21)Equation (21)

여기서 P는 전쟁색 영상의 회색 값이고, μ₀ 및 σ₀는 I²의 평균 및 표준 편차를 나타내고 μ₁ 및 σ₁은 P^'2의 평균 및 표준편차를 나타낸다. HCS 알고리줌은 I_new를 식 (22)의 역변환에서 직접 대입하여 진행한다. where P is the gray value of the war color image, μ ₀ and σ ₀ represent the mean and standard deviation of I ² _{, and μ 1} and σ ₁ represent the mean and standard deviation of P ^'2 . The HCS algorithm _{proceeds by directly substituting I new} in the inverse transformation of Equation (22).

식 (22)formula (22)

IHSIHS

IHS(Intensity-Hue-Saturation) 융합 기법은 빠른 컴퓨팅 기능과 엄청난 양의 데이터를 신속하게 처리하는 영상융합 방법이다. IHS 기법은 RGB 값을 강도, 색조 및 채도 값으로 변환하여 사용되는 일반적인 영상융합기술 중 하나이다. IHS 공간에서 색조와 채도는 대부분 분광 정보를 반영하는데, 분광 정보를 보존하고 높은 공간해상도의 세부 정보를 추가하기 위해 전정색 및 다중분광 영상을 융합할 때 적용된다. IHS는 색공간에 대해 IHS 공간과많은 연구에서 매트릭스의 상이한 값을 가지는 다양한 IHS 기법으로 변환하기위해 3×3 매트릭스를 사용한다.The IHS (Intensity-Hue-Saturation) fusion technique is an image fusion method that quickly processes a huge amount of data with fast computing capabilities. The IHS technique is one of the common image fusion techniques used by converting RGB values into intensity, hue, and saturation values. Hue and saturation mostly reflect spectral information in the IHS space, which is applied when fusion of vestibular and multispectral images to preserve spectral information and add high spatial resolution detail. IHS uses 3×3 matrices to transform the IHS space for color space and various IHS techniques with different values of the matrix in many studies.

IHS 영상융합 기술은 가장 오래된 것으로 알려진 데이터 융합 방법이며, 가장 간단한 방법 중 하나이다.IHS image fusion technology is the oldest known data fusion method and one of the simplest.

① 저해상도 다중분광 영상은 고해상도 전정색 영상을 포함하고 있으며 전정색 영상과 동일한 해상도로 재배열된다.① Low-resolution multispectral images contain high-resolution vestibular images and are rearranged to the same resolution as vestibular images.

② 색공간을 나타내는 다중분광 영상에서 재배열된 3개(1, 2, 3)의 밴드는 IHS 구성 요소(I, H, S)로 변환된다.② In the multispectral image representing the color space, the rearranged 3 (1, 2, 3) bands are converted into IHS components (I, H, S).

③ 전정색 영상은 강도(I) 구성 요소와 일치하는 히스토그램으로, 이는 상이한 센서 또는 상이한 획득 날짜 및 각도로 인해 발생된 두 영상간의 분광해상도 차이를 보완하기 위해 수행된다.③ The vestibular image is a histogram consistent with the intensity (I) component, which is done to compensate for the spectral resolution difference between the two images caused by different sensors or different acquisition dates and angles.

④ 다중분광 영상의 강도(I) 성분은 히스토그램 매칭된 전정색 영상으로 대체된다.④ The intensity (I) component of the multispectral image is replaced with the histogram-matched vestibular image.

융합된 다중분광 영상의 컬러는 IHS에서 컬러로 역변환을 계산하여 추출된다.The color of the fused multispectral image is extracted by calculating the inverse transformation from IHS to color.

LMM과 LMVMLMMs and LMVMs

LMM(Local Mean Matching)과 LMVM(Local Mean and Variance Matching)은 융합된 영상과 저해상도 다중분광 채널 간의 차이를 최소화하기 위해 특별히 설계되었으며 저해상도 채널의 원래 분광 정보를 대부분 보존한다. 이 기법은 전정색 영상의 지역 평균 및 분산값을 원본의 저해상도 다중분광과 일치시키기 위해 영상내의 로컬 스케일에서 표준화 함수를 적용한다. 이때의 잔차는 고해상도 전정색 영상에서 나오는 고공간 정보에 비례하며 융합된 영상과 저해상도 채널 간의 상호 관계를 크게 증가시킨다. 융합된 영상에 보존된 분광 정보의 양은 필터링 창 크기를 조정하여 제어할 수 있다.LMM (Local Mean Matching) and LMVM (Local Mean and Variance Matching) are specifically designed to minimize the difference between the fused image and the low-resolution multispectral channel, and preserve most of the original spectral information of the low-resolution channel. This technique applies a normalization function at the local scale within the image to match the regional mean and variance values of the vestibular image with the low-resolution multispectral of the original image. At this time, the residual is proportional to the high spatial information from the high-resolution vestibular image and greatly increases the correlation between the fused image and the low-resolution channel. The amount of spectral information preserved in the fused image can be controlled by adjusting the size of the filtering window.

LMM 알고리즘은 식 (23)과 같다.The LMM algorithm is as Equation (23).

식 (23)formula (23)

F_i,j는 융합된 영상, H_i,j 및 L_i,j는 각각 픽셀 좌표 i,j에서의 고해상도 영상 및 저해상도 영상이고

와

는 크기 (w,h)의 창 내부에서 계산된 지역 평균이다. F _i,j is the fused image, H _i,j and L _i,j are the high-resolution and low-resolution images at pixel coordinates i,j, respectively

Wow

is the local mean computed inside the window of size (w,h).

LMVM 알고리즘은 식 (24)과 같다.The LMVM algorithm is as Equation (24).

식 (24)formula (24)

여기서, s는 표준편차다.where s is the standard deviation.

WaveletWavelet

Wavelet 변환은 본질적으로 HPF(High Pass Filter)의 개념을 확장한 것이다.시각적 측면에서 영상은 세부적으로 밝은 옥상과 어두운 지면과 같은 피처들 간의 높은 대비의 결과이며 공간 영역의 높은 대비는 주파수 영역에서 높은 값에 상응한다. 주파수 정보는 Fourier 변환을 적용하여 추출할 수 있지만 공간 정보와 관련되지 않는다.Wavelet transform is essentially an extension of the concept of High Pass Filter (HPF). From a visual point of view, an image is the result of high contrast between features such as detailed bright rooftops and dark ground, and high contrast in the spatial domain is high in the frequency domain. corresponding to the value. Frequency information can be extracted by applying Fourier transform, but it is not related to spatial information.

Wavelet 변환은 Fourier 변환보다 더 유용할 수 있는데, Fourer 변환은 작은 주파수의 변환도 시간 영역의 모든 곳에 변화를 미치는 반면 Wavelet 변환은 국부적(local)인 주파수/축척과 시간적(time domain)인 변환이 지역화된 기능을 기반으로 하기 때문이다. Wavelet 변환을 사용하여 하나의 영상에서 추출된 세부 정보는 대체, 추가, 빈도 또는 공간을 기반으로 하는 선택 방법 중 하나를 사용하여 다른 영상에 주입할 수 있다. 고주파에 포함되어 있는 Wavelet은 시간과 공간에서 주파수 세트를 선택하는데 사용할 수 있기 때문에 Wavelet을 사용하여 한 영상에서 세부 정보를 추출하여 다른 영상으로 주입할 수 있음이 밝혀졌다.Wavelet transforms can be more useful than Fourier transforms, where even small frequency transforms change everywhere in the time domain, whereas Wavelet transforms have localized frequency/scale and time domain transforms that are localized. This is because it is based on the function Details extracted from one image using wavelet transforms can be injected into another image using one of the following methods: substitution, addition, frequency, or spatial-based selection. Since wavelets contained in high frequencies can be used to select a set of frequencies in time and space, it has been found that wavelets can be used to extract details from one image and inject it into another image.

또한 변환에 사용된 Wavelet 함수는 변환의 특성 적용에 유용한 특징을 갖도록 설계 될 수 있다. 고해상도 전정색 영상을 저해상도 다중분광 영상의 공간해상도와 일치되도록 Wavelet 변환을 적용하여 근사영상과 세부영상을 계산하고 근사영상을 저해상도 다중분광 영상으로 대체한 후 이를 역변환하여 영상을 융합한다Wavelet 변환수식은 식 (25)과 같다. In addition, the Wavelet function used in the transformation can be designed to have useful features for applying the characteristics of the transformation. The approximate image and detailed image are calculated by applying Wavelet transformation to match the spatial resolution of the high-resolution full-color image to the low-resolution multispectral image, and the approximate image is replaced with a low-resolution multispectral image, and then the image is fused by inverse transformation. It is the same as Equation (25).

식 (25) formula (25)

5가지 표본 영상은 각각 4가지 고해상도 회색조영상과 수정된 저해상도 컬러영상으로 제작되고 이를 이용해 8가지의 기법으로 영상융합하였다. 도 8과 같이 영상융합은 5개 표본 영상에 대해 4가지 회색조 변환 방법과 8가지 융합 기법을 적용하여 총 160가지 영상으로 제작되었다.Each of the five sample images was produced as four high-resolution grayscale images and a corrected low-resolution color image, and the images were fused using eight techniques. As shown in FIG. 8 , image fusion was produced into a total of 160 images by applying 4 grayscale conversion methods and 8 fusion techniques to 5 sample images.

대부분의 영상융합은 여러 가지 상용 영상처리 소프트웨어를 이용하여 처리할 수 있으며 소프트웨어마다 중복하여 지원하고 있는 기법도 많다. 본 연구에서 사용하고 있는 8가지 융합 기법은 총 3개의 영상처리 소프트웨어를 이용하였다.Most image fusion can be processed using various commercial image processing software, and there are many techniques that overlap and support each software. The eight fusion techniques used in this study used a total of three image processing software.

영상융합 기법 적용은 GS가 도 9와 같이 ENVI[harrisgeospatialcom]를 이용하였고, HCS와 Wavelet는 도 10과 같이 ERDAS Imagine [hexagongeospatialcom]을 이용하였으며 BDSD, Brovey, IHS, LMM, LMVM 기법은 도 11과 같이 PanFusion[pansharpcom(a)]를 이용하였다. 특히 PanFusion은 18개의 알로리즘을 한 번에 처리할 수 있도록 Matlab으로 개발되었으며 무상 배포하고 있는 프로그램이다.For the image fusion technique, GS used ENVI [harrisgeospatialcom] as shown in FIG. 9, HCS and Wavelet used ERDAS Imagine [hexagongeospatialcom] as shown in FIG. 10, and BDSD, Brovey, IHS, LMM, and LMVM techniques as shown in FIG. 11 PanFusion [pansharpcom(a)] was used. In particular, PanFusion was developed with Matlab to process 18 algorithms at once, and is a program that is distributed free of charge.

도 12는 영상융합 결과의 예로 농경지(혼합)에서 BT.709 회색조 변환 방법으로 제작된 회색조영상과 색상보정된 저해상도 컬러영상(aRmRGB^LR; 도 12 가운데)의 영상융합 결과이다.12 is an image fusion result of a grayscale image produced by the BT.709 grayscale conversion method and a color-corrected low-resolution color image (aRmRGB ^LR ; in the middle of FIG. 12) in agricultural land (mixed) as an example of the image fusion result.

5. 정량적 품질평가 지표 산출5. Calculation of quantitative quality evaluation indicators

원격탐사 영상융합은 지구에 대해 정보화 과정으로 이해하는 것이며 이 정보는 적절한 판단이 가능한 유효성을 가지는 범위에서 허용할 수 있는 품질 매개 변수가 수반되는 경우에만 의미가 있다. 특히 여러 소스 및 처리 단계가 포함되는 경우 이 품질평가 및 오류 전파의 이해가 중요하다. 성공적인 영상융합은 입력 영상의 특성과 내용이 상속받는 융합된 영상에 제대로 적용되도록 하는 것이다.Remote sensing image fusion is understood as an informatization process for the Earth, and this information is meaningful only if it is accompanied by acceptable quality parameters within the range of validity that can be appropriately judged. Understanding this quality assessment and error propagation is important, especially when multiple source and processing steps are involved. Successful image fusion is to ensure that the characteristics and contents of the input image are properly applied to the inherited fused image.

결과적으로 융합된 영상이 개별적인 입력 영상보다 더 우수한 품질 정보를 포함한다면 영상융합은 더욱 중요한 가치가 있다. 영상융합 결과는 품질을 평가하는 문제와 품질 상태를 확인하기 위해 참조 데이터를 사용하는 문제가 포함되며,결과적으로 상대적 품질과 절대 품질을 구별하는 것이 매우 중요하다.As a result, if the fused image contains better quality information than the individual input images, image fusion has more important value. Image fusion results include the problem of evaluating quality and using reference data to confirm the quality status. As a result, it is very important to distinguish between relative and absolute quality.

상대적 품질은 일관성 및 합성 속성과 같이 정의된 이상적인 기준에 의한 검증을 통해 원본 영상에 대한 융합된 영상의 유사성을 나타낸다. 일관성은 원래의 다중분광 영상을 얻기 위해 융합된 영상을 저하시킴으로써 영상융합 프로세스를 되돌릴 수 있는 가능성을 의미한다. 합성은 융합된 영상이 더 높은 공간해상도에서 원본 다중분광 영상의 특성을 가져야 한다는 사실을 의미한다. 절대 품질은 융합된Relative quality indicates the similarity of the fused image to the original image through verification by defined ideal criteria such as consistency and synthesis properties. Consistency refers to the possibility of reversing the image fusion process by degrading the fused image to obtain the original multispectral image. Synthesis means that the fused image should have the characteristics of the original multispectral image at higher spatial resolution. Absolute quality is fused

영상과 참조 영상 간의 유사성에 해당한다.Corresponds to the similarity between the image and the reference image.

지금까지 융합된 영상의 품질을 평가하는데 있어 인간의 시각적인 능력과 사고를 대체할 만큼 일반적으로 받아들여지는 확고한 품질지표는 없다. 비교를 위해 필요한 이상적인 참고 영상의 부족은 선택된 평가지표와는 다르게 융합 결과의 객관적인 평가를 제한한다. 따라서 영상융합 결과는 보통 두 가지 방법으로 품질을 평가한다. 첫 번째는 정성적인 접근 방식으로 결과를 눈으로 확인하고 결과를 원본 입력 데이터와 비교하는 것이다. 두 번째는 정량적 접근법으로 통계 및 기타 평가 방법을 사용하여 품질지표(quality index)와 같이 비교 가능한 품질 측정 방법을 사용하는 것이다.So far, there is no generally accepted firm quality index to replace human visual ability and thinking in evaluating the quality of fused images. The lack of an ideal reference image for comparison limits the objective evaluation of the fusion result, unlike the selected evaluation index. Therefore, image fusion results are usually evaluated in two ways. The first is a qualitative approach, visually checking the results and comparing the results with the original input data. The second is a quantitative approach, which uses statistical and other evaluation methods to measure comparable quality, such as a quality index.

품질평가는 품질지표의 선택에 크게 영향을 받기 때문에 측정과 프로토콜에 따라 각각 다른 결과를 나타낸다. 정량적 평가 방법을 사용하더라도 최종 결정은 개인에게 여전히 남아 있으며 특히 응용 프로그램과 관련하여 개별 매개 변수에 대한 중요한 평가와 지식이 필요하다. 정량적 평가를 위해 제시된 프로토콜은 참조 영상이 필요 없는 프로토콜이며 영상의 시각적 평가 방법인 정성적 평가에서 정량적 평가와 함께 다른 영상융합 결과를 비교할 수 있는 기준을 제시하였다.Because quality evaluation is greatly affected by the selection of quality indicators, each measurement and protocol show different results. Even with the use of quantitative evaluation methods, the final decision remains with the individual and requires critical evaluation and knowledge of individual parameters, especially with regard to the application. The protocol presented for quantitative evaluation is a protocol that does not require a reference image, and in qualitative evaluation, which is a visual evaluation method of images, a criterion for comparing other image fusion results with quantitative evaluation was presented.

융합된 영상의 품질을 평가하기 위한 방법으로 성과에 대한 시각적 평가는 영상융합에 대한 거의 모든 연구에서 수행된다. 영상융합 결과의 시각적 해석은 영상의 분광해상도 및 공간해상도에서 국부적인 왜곡을 식별하고 인위적인 오류를 발견하는 데 필요하다. 시각적 분석은 중요하며 영상융합 대부분의 응용 프로그램에서 최종 결정의 기초가 된다.As a method to evaluate the quality of fused images, visual evaluation of performance is performed in almost all studies on image fusion. Visual interpretation of the image fusion result is necessary to identify local distortions in the spectral and spatial resolution of images and to detect artificial errors. Visual analysis is important and forms the basis of the final decision in most applications of image fusion.

정량적 평가를 위해 학계에서는 오늘날까지 어떤 기준을 표준으로 사용해야하는지에 대한 통일성은 없지만 적용할 수 있는 다양한 정량적 평가 기준이 제시되었다.For quantitative evaluation, although there is no uniformity in which criteria should be used as a standard in the academic world to this day, various quantitative evaluation criteria that can be applied have been suggested.

정량적 품질평가는 수학적 모델링을 기반으로 하며, 객관적 분석이라고도 한Quantitative quality assessment is based on mathematical modeling, also called objective analysis.

다. 융합된 영상의 주파수 대역 및 공간 충실도를 검사하기 위한 품질 매개 변수 또는 평가지표가 정의되고 입력 및 출력 영상간에 비교된다. 목표는 두 데이터 세트의 유사성을 결정하는 것이며 영상융합에서 참조 영상은 전정색 영상과 동일한 해상도를 가진 다중분광 영상이다.all. Quality parameters or evaluation indicators for examining the frequency band and spatial fidelity of the fused image are defined and compared between the input and output images. The goal is to determine the similarity of the two data sets, and the reference image in image fusion is a multispectral image with the same resolution as the vestibular image.

융합된 영상의 품질을 정성적, 정량적으로 평가하는 것이 무엇보다 중요한데, 영상의 색상과 같은 정성적인 부분에 대해 수치화를 통한 객관적인 평가 자료로 제시하고 영상 품질평가에 대한 연구 역시 중요한 사례이다. 기존의 정량적 품질평가는 Landsat, IKONOS, Worldview, GeoEye 등과 같이 다양한 위성 영상을 이용하여 영상을 융합하고 그 결과에 대해 품질을 평가하는 것으로 진행되었으며 이와 관련된 연구는 다양하다.It is most important to evaluate the quality of the fused image qualitatively and quantitatively. It is also an important case to present qualitative parts such as image color as objective evaluation data through digitization and to study image quality evaluation. Existing quantitative quality evaluation consists of fusion of images using various satellite images such as Landsat, IKONOS, Worldview, GeoEye, etc. and evaluating the quality of the results, and related studies are diverse.

오관영 등 (2012)은 융합 기법의 품질평가를 시각적 분석과 정량적 분석을 병행하여 Thomas and Wald (2007)이 제안한 표준 프로토콜에 따라 수행하였다.Gwanyeong Oh et al. (2012) performed the quality evaluation of the fusion technique according to the standard protocol suggested by Thomas and Wald (2007) by performing visual analysis and quantitative analysis in parallel.

정량적 평가에는 spatial and spectral ERGAS, SAM(Spectral Angle Mapper), Q4(UIQI for Four Band Imagery) index를 사용하였다. 서로 다른 해상도의 위성영상에 대한 융합영상으로 원본 영상, 다중분광 영상, 융합영상을 이용해 검토할 수 있는 해상도 조건에 따라 편중(bias), 다양성(actual variance), 상관계수(correlation coefficient), 표준편차(standard deviation)로 구분하여 품질을 평가하였다. 다중분광 영상의 융합 결과에 대한 품질평가를 SCC(Spatial Correlation Coefficient), SSIM(Structure Similarity Index Metric) 기법을 적용하여 각밴드별로 분석하였으며, MSSIM(Mean SSIM), ERGAS 기법으로 융합영상에 대하여 평가하였다. 융합영상 품질평가를 위해 Matlab 스크립트를 개발하여 Bias, CC, DIV, ERGAS, Entropy, Q(UIQI), RASE, RMSE 등 8개의 알고리즘을 구현하고 이를 이용해 Hyperion 초분광 영상의 융합 결과를 평가하였다.For quantitative evaluation, spatial and spectral ERGAS, SAM (Spectral Angle Mapper), and Q4 (UIQI for Four Band Imagery) index were used. A fusion image of satellite images of different resolutions, depending on the resolution conditions that can be reviewed using the original image, multispectral image, and fusion image, bias, actual variance, correlation coefficient, and standard deviation. (standard deviation) was classified and the quality was evaluated. The quality evaluation of the fusion result of multispectral images was analyzed for each band by applying SCC (Spatial Correlation Coefficient) and SSIM (Structure Similarity Index Metric) techniques, and MSSIM (Mean SSIM) and ERGAS techniques were used to evaluate the fusion image. . We developed a Matlab script to evaluate the quality of fusion images, implemented eight algorithms such as Bias, CC, DIV, ERGAS, Entropy, Q(UIQI), RASE, and RMSE, and evaluated the fusion results of Hyperion hyperspectral images using them.

융합된 영상을 정량적으로 평가할 수 있는 지표 목록은 다양하다. 이 절에서는 좀 더 복잡한 지표 및 프로토콜에서 사용되는 통계적 평가의 정의를 포함하여 가장 일반적인 평가 분석에 대해 설명한다. 개별 척도(예: MSE, RMSE, CC)는 적절한 품질평가 결과를 제공하지 않을 수도 있지만 복잡한 지수(예 : RASE, ERGAS)를 사용하면 전체 평가를 향상시킬 수 있다. 이 절에서 사용한 모든 식은 다음 표 5와 같다.The list of indicators that can quantitatively evaluate the fused image is diverse. This section describes the most common assessment analyzes, including definitions of statistical assessments used in more complex indicators and protocols. Individual measures (eg MSE, RMSE, CC) may not provide adequate quality assessment results, but the use of complex indices (eg RASE, ERGAS) can improve the overall assessment. All equations used in this section are shown in Table 5 below.

Mean BiasMean Bias

Mean Bias(Δ)는 융합 과정으로 인한 히스토그램의 평균값의 변화를 측정한것으로 영상융합 테스트 품질평가에서 널리 사용되고 있으며 원래의 MS 영상과 비교한 융합된 영상의 히스토그램 변화를 나타내는 지표이다. 값이 양수이면 흰색으로 이동하며, 융합된 영상의 히스토그램 평균값이 마이너스 바이어스(bias)인 경우 회색으로 바뀐다. Δ?育? 이상적인 값은 0이다.이는 식 (27)과 같이 융합된 영상(n)의 평균과 참조 영상(z)의 평균에 대한 차이로 계산된다.Mean Bias (Δ) is a measure of the change in the mean value of the histogram due to the fusion process. It is widely used in image fusion test quality evaluation and is an index indicating the change in the histogram of the fused image compared to the original MS image. If the value is positive, it moves to white, and when the average value of the histogram of the fused image is negative, it turns to gray. Δ?育? The ideal value is 0. It is calculated as the difference between the mean of the fused image (n) and the mean of the reference image (z) as in Equation (27).

식(27)Equation (27)

DIVDIV

원본 영상에서의 분산과 융합영상에서의 분산간의 차이는 원본 영상에서의 분산과 관련이 있다. 이 차이는 DIV(Difference in Variance)로 표현되며 융합중에 추가되거나 손실되는 정보의 양을 나타낸다. 양수값은 정보 손실을 나타내고 음수값은 일부 추가 정보를 나타낸다.이상적인 값은 0이다.The difference between the variance in the original image and the variance in the fusion image is related to the variance in the original image. This difference is expressed as DIV (Difference in Variance) and represents the amount of information added or lost during fusion. Positive values indicate loss of information and negative values indicate some additional information. Ideal value is 0.

식 (28)Equation (28)

여기서 δ² _MS는 원본 영상의 분산이고, δ² _FMS는 융합된 영상의 분산이다. where δ ² _MS is the variance of the original image, and δ ² _FMS is the variance of the fused image.

CCCC

CC(Correlation Coefficient)는 융합된 영상과 참조 영상간의 상관 정도를나타내며, 유사성 색인 그룹에 속한다. [-1, 1] 사이의 범위에서 가장 좋은 값은1이다. 이는 비교된 영상이 높은 상관관계가 있음을 의미하는 것으로 전역 평균변위차 및 증폭 계수에 의해 일치하거나 차이가 난다. 값 -1은 한 영상이 다른 영상의 반전된 버전임을 의미한다. CC는 식 (29)과 같이 표현된다.CC (Correlation Coefficient) indicates the degree of correlation between the fused image and the reference image, and belongs to the similarity index group. The best value in the range [-1, 1] is 1. This means that the compared images have a high correlation, and they match or differ by the global mean displacement difference and the amplification coefficient. A value of -1 means that one image is an inverted version of the other. CC is expressed as Equation (29).

식(29)Equation (29)

여기서, (f(x,y)-μ_f)는 융합된 영상의 픽셀과 융합된 영상의 평균과의 차이Here, (f(x,y)-μ _f ) is the difference between the pixel of the fused image and the average of the fused image.

며, (r(x,y)-μ_r)는 참조 영상의 픽셀과 융합된 영상의 평균과의 차이다.and (r(x,y)-μ _r ) is the difference between the pixel of the reference image and the average of the fused image.

EntropyEntropy

높은 공간 주파수 정보 흡수는 원래의 다중분광 영상에 비해 융합된 영상에서의 정보 증가와 해상도의 향상이며, 일반적인 평가지수는 Entropy이다. Entropy는 정보의 척도이고 그 개념은 많은 과학 분야에서 사용되어 왔으며, Leung et al (2001)과 Sun et al (1997) 등에 소개되었다[Han et al, 2008] Entropy는 영상융합의 성능을 직접적으로 결정하는 척도이며, 영상에 포함된 평균 정보를 표시하고 융합된 영상의 세부 정보를 반영할 수 있다. 일반적으로 융합된 영상의 Entropy가 클수록 더 많은 정보가 포함되고 융합의 품질이 높아 진다[Han et al, 2008] 품질평가에서는 원본 영상과 융합된 영상에 대한 각각의 Entropy를 계산한 후 이들의 차이를 계산한다. 식 (30)은 하나의 영상에 대한 Entropy 계산식이다.High spatial frequency information absorption is information increase and resolution improvement in the fused image compared to the original multispectral image, and the general evaluation index is Entropy. Entropy is a measure of information and its concept has been used in many scientific fields, and was introduced by Leung et al (2001) and Sun et al (1997) [Han et al, 2008] Entropy directly determines the performance of image fusion. It is a measure to display the average information included in the image and can reflect the detailed information of the fused image. In general, the larger the entropy of the fused image, the more information is included and the quality of the fusion increases [Han et al, 2008]. Calculate. Equation (30) is an entropy calculation formula for one image.

식 (30)Equation (30)

여기서 E는 영상의 Entropy이고, P는 입력되는 영상을 나타내는 것으로 원Here, E is the entropy of the image, and P is the input image.

본 영상 및 융합된 영상이며 P_i는 영상에서의 i의 확률이다.The main image and the fused image, where P _i is the probability of i in the image.

UIQIUIQI

분광해상도 및 공간해상도 왜곡을 식별하는 유사성 지수인 UIQI(Universal Image Quality Index)는 식 (31)에서 융합 및 참조 영상의 공분산, 분산 및 평균을 사용한다.UIQI (Universal Image Quality Index), a similarity index that identifies spectral and spatial resolution distortions, uses the covariance, variance, and mean of the fusion and reference images in Equation (31).

식 (31)formula (31)

여기서, 위 식의 구성요소를 1st*2nd*3rd로 표현하면 첫 번째 구성요소는 상관 손실을 반영한 측정값이며, 범위는 [-11]이고, 두 번째 구성요소는 휘도 왜곡으로 범위는 [0,1], 최상값은 1이며 세 번째 구성요소는 대비 왜곡으로 범위는[0,1], 최상값은 1이다.Here, if the components of the above formula are expressed as 1st*2nd*3rd, the first component is a measurement value reflecting the correlation loss, and the range is [-11], and the second component is luminance distortion and the range is [0, 1], the best value is 1, the third component is the contrast distortion, the range is [0,1], the best value is 1.

ERGASERGAS

ERGAS(Relative Dimensionless Global Error of Synthesis)는 전역 지표이며 식 (32)에 표시된 것처럼 개별 밴드의 RMSE(Root Mean Square Error) 값을 합산한다. 이상적인 값은 RMSE 값의 합계를 형성하기 때문에 0이며 백분율로 표시된다. 융합될 회색조영상 과 컬러영상 사이의 비율 관계를 고려한다.ERGAS (Relative Dimensionless Global Error of Synthesis) is a global indicator and sums the RMSE (Root Mean Square Error) values of individual bands as shown in Equation (32). The ideal value is 0 because it forms the sum of the RMSE values and is expressed as a percentage. Consider the ratio relationship between the grayscale image to be fused and the color image.

식 (32)formula (32)

여기서 d_h는 고해상도 영상의 픽셀 사이즈, di는 저해상도 영상의 픽셀 사이즈, b는 다중분광 영상의 밴드 수이다.where d _h is the pixel size of the high-resolution image, di is the pixel size of the low-resolution image, and b is the number of bands of the multispectral image.

RASERASE

RASE(Relative Average Spectral Error)는 식 (33)과 같이 다중분광 밴드의 수 b에 대한 i 밴드 당 평균을 전체 평균하여 사용하는 또 다른 전역 지수이며 백분율로 표시된다. 계산되는 결과가 낮으면 더 나은 영상 품질을 의미한다. RASE는 백분율로 표시되며 이상적인 값은 0이다.RASE (Relative Average Spectral Error) is another global index using the overall average of the average per i band for the number b of multispectral bands as in Equation (33), and is expressed as a percentage. A lower calculated result means better image quality. RASE is expressed as a percentage, with an ideal value of zero.

식 (33)Equation (33)

RMSERMSE

융합된 영상과 참조 및 원본 영상 사이의 분광 왜곡은 식 (34)과 같이 MSE(Mean Square Error)로 측정된다. 이상적인 값은 0이며 이 값은 f=r을 의미한다.The spectral distortion between the fused image and the reference and original images is measured as the Mean Square Error (MSE) as shown in Equation (34). The ideal value is 0, which means f=r.

식 (34)Equation (34)

여기서, m,n은 영상의 가로, 세로 픽셀수이며 (f(x,y)-r(x,y))는 융합된 영상의 픽셀과 참조 영상의 평균과의 차이다.Here, m, n is the number of horizontal and vertical pixels of the image, and (f(x,y)-r(x,y)) is the difference between the pixels of the fused image and the average of the reference image.

MSE는 사람의 시각적 인식면에서 영상 품질을 평가하는데 적합하지 않다. 시각적 검사로 인식할 수 있는 오류가 있는 왜곡된 영상은 거의 동일한 MSE 값을 초래할 수 있다.MSE is not suitable for evaluating image quality in terms of human visual perception. Distorted images with perceptible errors by visual inspection can result in nearly identical MSE values.

RMSE는 융합된 영상의 표준 오류를 제공하고 융합된 영상에 포함된 공간해상도 및 분광해상도 왜곡을 표현한다. 개별 밴드 오류가 밴드의 평균값과 관련이 없더라도 매우 유용하다. RMSE는 종종 시각적 평가 결과와 식물 지수 매칭에 이용된다. 식 (35)과 같이 표현된다.RMSE provides the standard error of the fused image and expresses the spatial and spectral resolution distortions contained in the fused image. It is very useful even if the individual band errors are not related to the average value of the bands. RMSE is often used for visual evaluation results and plant index matching. It is expressed as Equation (35).

최적의 RMSE 값은 0이며, 이는 f=r은 융합된 영상과 참조 영상 차이가 없음을 의미한다The optimal RMSE value is 0, which means that f = r is no difference between the fused image and the reference image.

영상융합에서 품질평가 프로토콜을 수립한다는 개념은 융합된 영상의 분광 특성 및 공간 무결성을 정량적으로 평가하는 기준의 필요성에서 비롯되었다. 많은연구에서 개별 지표가 융합된 영상의 품질을 충분히 반영하지 않는다는 사실이 밝혀졌다. 그 이유는 개별 지표들이 단일 기준에만 관련되었거나 융합된 다양한영상의 평가와 관련된 측면에서 민감하지 않기 때문이다.The concept of establishing a quality evaluation protocol in image fusion came from the need for a standard to quantitatively evaluate the spectral characteristics and spatial integrity of the fused image. In many studies, it has been found that individual indicators do not sufficiently reflect the quality of the fused image. The reason is that individual indicators are not sensitive in terms of whether they are related only to a single criterion or are related to the evaluation of various fused images.

융합된 영상에 대한 품질은 시각적 비교에 따른 정성적 방법과 통계 지표로계산할 수 있는 정량적 방법을 적용한 평가가 요구된다. 융합영상 제작 후 영상융합과 품질평가를 일관되고 신뢰성 있게 진행할 수 있는 프로토콜이 제안되었으며 Wald 프로토콜, Zhou 프로토콜, QNR 프로토콜, Khan 프로토콜이 그것이다.The quality of the fused image requires evaluation by applying a qualitative method based on visual comparison and a quantitative method that can be calculated with statistical indicators. Protocols that can consistently and reliably perform image fusion and quality evaluation after fusion image production have been proposed, and these are the Wald protocol, Zhou protocol, QNR protocol, and Khan protocol.

Wald 프로토콜Wald protocol

Thomas and Wald은 영상융합 결과 유사성을 정량적으로 평가하기 위한 프로토콜을 제시하였다. Thomas and Wald presented a protocol for quantitatively evaluating the similarity of image fusion results.

정량적 품질평가는 동일한 해상도를 가지는 영상을 비교해야 하며 이에 따라 영상융합 전 색상보정이 완료된 저해상도 다중분광 영상이 품질평가의 기준이 된다.Quantitative quality evaluation should compare images with the same resolution, and accordingly, a low-resolution multispectral image with color correction before image fusion becomes the standard for quality evaluation.

정량적 평가를 위한 조건은 아래 3가지 특성을 포함하는 영상융합에 대해 정의되었으며, 융합된 영상은 가능한 비슷해야 한다.Conditions for quantitative evaluation were defined for image fusion including the following three characteristics, and the fused images should be as similar as possible.

① 저해상도의 다중분광 영상과 동일한 해상도로 재배열되는 경우의 원본 다중분광 영상(공간해상도 향상 후 품질 측정)① Original multispectral image when rearranged to the same resolution as low-resolution multispectral image (quality measurement after spatial resolution improvement)

② 이상적인 영상과 동일하게 고해상도로 획득할 수 있는 영상② Images that can be acquired with the same high resolution as the ideal image

③ 고해상도로 동일하게 획득한 이상적인 영상의 다중분광 영상③ Multispectral image of the ideal image obtained with the same high resolution

따라서 융합은 조건 2와 3으로 나뉘는데, 보통 이상적인 영상이 존재하지 않Therefore, fusion is divided into conditions 2 and 3, which usually do not have an ideal image.

기 때문에 둘 다 구현하기가 어렵다. 따라서 영상융합은 축소된 영상을 사용하여 분석되며, 공간해상도는 입력된 두 영상의 스케일 비율에 따라 요소를 적용한 저역필터링을 기반으로 하여 달성된다. 실제 융합 과정은 수정된 영상에서 수행되어 더 낮은 공간해상도에서 융합된 영상을 만든다.Therefore, it is difficult to implement both. Therefore, image fusion is analyzed using reduced images, and spatial resolution is achieved based on low-pass filtering that applies elements according to the scale ratio of the two input images. The actual fusion process is performed on the modified image to create the fused image at a lower spatial resolution.

그런 다음 조건 2와 3에 대한 "이상적인" 참조 영상을 나타내는 원래의 저해상도 다중분광 영상과 비교할 수 있다.It can then be compared with the original low-resolution multispectral image representing the "ideal" reference image for conditions 2 and 3.

Zhou 프로토콜Zhou protocol

이 프로토콜은 분광 특성 및 공간 품질을 분리한다. 분광 특성의 품질은 융합된 영상의 주파수 대역 내용이 원본 다중분광 영상의 주파수 대역 내용과 유사해야 한다는 가정에 기반 하며 이는 특정 주파수 대역의 특징이 유지된다는 사실을 의미한다. 실제적으로 정량적 계산은 식 (36)에 따라 대역별 융합된 f 및 원본, 영상 재배열된 다중분광 영상의 픽셀값 간의 평균 차이를 따르며, i번째 밴드의 R 번째 행과 C 번째 열에 유효하다. 이상적인 경우의 차이는 0이다.This protocol separates spectral properties and spatial quality. The quality of the spectral characteristics is based on the assumption that the frequency band content of the fused image should be similar to the frequency band content of the original multispectral image, which means that the characteristics of a specific frequency band are maintained. Practically, the quantitative calculation follows the average difference between the pixel values of the fused f and original and rearranged multispectral images for each band according to Equation (36), and is valid for the R-th row and C-th column of the i-th band. In the ideal case, the difference is zero.

식 (36)Equation (36)

공간 정보는 공간 정보가 고주파수의 고해상도 전정색 영상에서 고유하다는 가정에서 정량적으로 평가된다. 융합 및 전정색 영상의 고역통과 버전 간의 상관관계 계산은 융합된 영상의 공간 품질을 계산하며 필터링은 라플라시안(Laplacian) 필터를 기반으로 수행된다. 이 프로토콜의 또 다른 일반적인 이름은 SCI(Spatial Correlation Index) 또는 HCC(High-pass Correlation Coefficient)이며 이상적인 값은 1이다. Zhou의 프로토콜의 단점은 Q4, ERGAS 및 SAM과 같은 참조 영상을 사용한 품질평가와 비교할 때 공간 영역에서 모순되는 품질 결과가 발생한다는 사실이다.Spatial information is quantitatively evaluated on the assumption that spatial information is unique in high-frequency, high-resolution vestibular images. The correlation calculation between the high-pass version of the fused and vestibular images calculates the spatial quality of the fused image, and the filtering is performed based on a Laplacian filter. Another common name for this protocol is Spatial Correlation Index (SCI) or High-pass Correlation Coefficient (HCC), with an ideal value of 1. A disadvantage of Zhou's protocol is the fact that it produces contradictory quality results in the spatial domain when compared to quality evaluation using reference images such as Q4, ERGAS, and SAM.

QNR 프로토콜QNR protocol

정량적 품질평가를 위한 참조 영상의 부족으로 인해 QNR(Quality with No Reference) 프로토콜을 사용하는 평가 방법이 개발되었다. 그러나 이 방법의 제약 조건은 참조 영상을 사용할 수 없다는 것이며 거친 스케일로 평가가 수행되면 융합 알고리즘이 스케일 불변성에 영향을 미친다는 것이다. 반면 복잡한 환경의 고해상도 영상의 경우에는 그렇지 않을 수 있다. 전역 품질평가 프로토콜인 QNR은 전체 범위에서 작동하며 융합된 영상의 공간 및 분광 대역의 품질을 개별적으로 평가한다. QNR 프로토콜은 분광 특성 및 공간 품질의 기초는 한 쌍의 스칼라 영상의 UIQI 유사성을 평가하는 것으로 융합된 영상 밴드를 원래의 다중분광 영상(분광 대역 품질) 및 전정색 영상(공간품질)과 비교하는 것이다. 분광 대역 왜곡은 (1) 다중분광 영상의 원래 해상도와 (2) 원래의 전정색 밴드와 융합된 고해상도의 해상도에서 식(37)을 사용하여 융합된 영상과 원본 다중분광(MS) 영상 사이에서 결정된다.Due to the lack of reference images for quantitative quality evaluation, an evaluation method using the QNR (Quality with No Reference) protocol was developed. However, a constraint of this method is that a reference image is not available and that the fusion algorithm affects the scale invariance when the evaluation is performed on a coarse scale. On the other hand, in the case of high-resolution images in a complex environment, this may not be the case. As a global quality evaluation protocol, QNR operates over the full range and individually evaluates the quality of the spatial and spectral bands of the fused image. The QNR protocol is to evaluate the UIQI similarity of a pair of scalar images, where the basis of spectral properties and spatial quality is to compare the fused image bands with the original multispectral image (spectral band quality) and vestibular image (spatial quality). . The spectral band distortion is determined between the fused image and the original multispectral (MS) image using equation (37) at (1) the original resolution of the multispectral image and (2) the resolution of the fused high-resolution with the original vestibular band. do.

융합된 영상, 공간 구성 요소는 식 (38)에 의해 두 해상도에서 다시 생성된다. 두 가지 스케일에서의 대역 간 차이 때문에 스케일을 가로지르는 왜곡을 분석하는 것이 가능하다.The fused image, the spatial component, is regenerated at both resolutions by equation (38). Because of the difference between the bands at the two scales, it is possible to analyze the distortion across the scales.

식(37)Equation (37)

식(38)Equation (38)

?? ??

MS_i는 i번째 원래의 다중분광 밴드를 나타내고 ??MS_k는 비교될 원래의 다중분광 밴드 중 하나이다. 유사하게, f_i는 i번째이고, f_k는 융합된 영상의 s번째 밴드이다. 튜닝 매개 변수 x는 분광 특성 차이의 가중치를 허용한다. 즉, p=1인 경우 모든 차이에 동일한 가중치가 주어지고 p>1일 경우 큰 분광 대역 차이가 더 높게 가중된다. 분광 왜곡량 D_spectral과 공간 왜곡량 D_spacial의 이상적인 결과 값은 0이다.MS _i denotes the i th original multispectral band and ??MS _k is one of the original multispectral bands to be compared. Similarly, f _i is the i th and f _k is the s th band of the fused image. The tuning parameter x allows weighting of spectral characteristic differences. That is, when p=1, all differences are given the same weight, and when p>1, large spectral band differences are weighted higher. The ideal result value of the spectral distortion amount D _spectral and the spatial distortion amount D _{spacial is 0.}

QNR은 다음 식 (39)으로부터 도출된다.QNR is derived from the following equation (39).

식 (39)Equation (39)

따라서 결합된 전체 척도는 최상의 경우 1에 도달해야 한다. QNR은 보다 상세한 정량적인 분석을 위해 영상 블록을 사용하여 로컬로 적용할 수 있다. α와 β는 융합된 영상의 분광 특성 또는 공간 성분 중 하나의 품Therefore, the combined overall scale should reach 1 in the best case. QNR can be applied locally using image blocks for more detailed quantitative analysis. α and β are either spectral properties or spatial components of the fused image.

질평가를 집중시키기 위한 추가 조정 매개 변수이다. α=β=1인 경우 평가 과정에서 두 측면 모두 동일하게 고려된다.It is an additional adjustment parameter to focus the quality evaluation. When α = β = 1 , both aspects are considered equally in the evaluation process.

Khan 프로토콜Khan protocol

이 프로토콜은 앞에 설명된 세 가지 프로토콜의 개별적인 측면을 활용하여 발전한 것으로, 일관성 속성(Wald 프로토콜), Zhou 프로토콜의 공간 구성 요소 및 QNR의 분광 특성 왜곡을 결합하였다. Khan 프로토콜은 분광 특성(일관성)과 공간 품질의 두 가지 지표를 산출한다. 저주파수 및 고주파수 정보 추출을 위해 라플라스 계수기를 사용하는 대신 이 프로토콜은 개별 대역의 MTF에 맞게 조정된 필터를 사용한다.This protocol evolved by utilizing individual aspects of the three protocols previously described, combining the coherence properties (Wald protocol), the spatial component of the Zhou protocol, and the spectral characteristic distortion of QNR. The Khan protocol yields two indicators of spectral properties (coherence) and spatial quality. Instead of using Laplace counters for low- and high-frequency information extraction, this protocol uses filters tuned to the MTFs of individual bands.

이 프로토콜은 융합된 영상의 분광 특성 및 공간 품질을 개별적으로 평가한다. 분광 특성 지표는 MTF 필터를 사용하여 융합된 영상의 해상도를 원래의 다중분광 영상 해상도로 줄이고 Q4를 사용하여 결과 영상을 원본영상과 비교한다. 결과적인 차이는 분광 특성 왜곡 지수를 형성한다.This protocol separately evaluates the spectral properties and spatial quality of the fused images. As for the spectral characteristic index, the resolution of the fused image is reduced to the original multispectral image resolution using an MTF filter, and the resulting image is compared with the original image using Q4. The resulting difference forms a spectral characteristic distortion index.

공간 품질평가를 위해 Khan 프로토콜은 원본 및 융합된 영상의 해상도와 축For spatial quality evaluation, the Khan protocol uses the resolution and axis of the original and fused images.

소된 버전의 전정색에서 높은 순위의 정보 추출을 위해 MTF 필터를 사용한다.An MTF filter is used to extract high-order information from the reduced version of the vestibular color.

UIQI는 두 가지 해상도에서 다중분광 밴드의 공간 세부 정보와 전정색의 세부정보를 비교하는 척도를 제공한다. UIQI provides a metric to compare the spatial and vestibular details of multispectral bands at two resolutions.

실제 응용 프로그램에서는 최종 결정을 위해 Zhou 프로토콜과 QNR을 결합한 두 가지 객관적인 평가 방법을 사용하는 것이 좋다In practical applications, it is recommended to use two objective evaluation methods combining Zhou protocol and QNR for final decision.

영상 재배열image rearrangement

디지털 영상처리는 특정 영상의 다양한 특성을 개선하기 위해 컴퓨터 알고리Digital image processing uses computer algorithms to improve various characteristics of specific images.

즘을 사용하여 영상을 처리하는 것이라 할 수 있다. 영상처리에서 영상의 축척을 조정하거나 해상도를 변경하고 영상을 추출하는 것과 같이 영상을 픽셀 단위에서 수정하거나 변환하는 등의 과정을 영상 재배열이라고 하며, 이때 새로운 버전의 영상을 생성하는데 사용하는 수학적 기술이다. 이와 같은 방법으로 영상의 크기를 늘리는 것은 업샘플링(upsampling), 반대로 영상의 크기를 줄이는 것을 다운샘플링(downsampling) 한다. 이와 같은 영상 재배열에는 픽셀값을 결정하기 위해 보간법을 사용하게 되며, 보간법은 샘플 사이에 있는 위치에서 함수의 값을 결정한다.It can be said that the image is processed using the In image processing, the process of modifying or converting an image in pixel units, such as adjusting the scale or resolution of an image and extracting an image, is called image rearrangement, and in this case, a mathematical technique used to create a new version of the image am. In this way, increasing the size of the image is upsampling, and conversely, reducing the size of the image is downsampling. In such image rearrangement, interpolation is used to determine pixel values, and the interpolation method determines the value of a function at a position between samples.

다음은 영상 재배열에 사용되고 있는 많은 보간법 중 가장 일반적으로 사용되고 있는 최근린(nearest neighbor) 보간법, 쌍선형(bilinear) 보간법, 3차회선(bicubic convolution) 보간법에 대하여 설명한다. The following describes the most commonly used nearest neighbor interpolation, bilinear interpolation, and bicubic convolution interpolation among many interpolation methods used for image rearrangement.

최근린 보간법Recent Lean Interpolation

최근린 보간법은 가장 간단한 보간법으로서 보간된 출력 픽셀은 입력 영상에서 가장 가까운 픽셀의 값이 할당된다. 공간 범위에서 1픽셀 너비의 직사각형으로 영상을 합성하여 얻을 수 있다. 최근린 알고리즘의 보간법 f(x)는 식 (40)과 같이 정의된다.The nearest interpolation method is the simplest interpolation method, and the interpolated output pixel is assigned the value of the pixel closest to the input image. It can be obtained by compositing an image into a rectangle with a width of 1 pixel in a spatial range. The interpolation method f(x) of the nearest lean algorithm is defined as Equation (40).

식 (40)formula (40)

여기서, x는 보관된 두 점 사이의 거리이다.where x is the distance between the two stored points.

최근린 보간법을 적용하면 영상 처리는 빠르지만 영상에서 지형과 지물의 가장자리에서 계단효과가 뚜렷하게 나타나는 단점이 있다.If the recent lean interpolation method is applied, the image processing is fast, but there is a disadvantage in that the step effect is clearly displayed at the edges of the terrain and features in the image.

쌍선형 보간법Bilinear interpolation

쌍선형 보간법은 입력된 특정한 점의 위치에 인접해 있는 네 개의 픽셀까지떨어진 거리를 가중치로 사용하여 값을 계산하는 방법이다. 2개의 선형 보간은 각각 수평 방향과 수직 방향으로 수행되며, 식 (41)과 같이 정의된다.Bilinear interpolation is a method of calculating a value using the distance to four pixels adjacent to the position of a specific input point as a weight. The two linear interpolation is performed in the horizontal direction and the vertical direction, respectively, and is defined as Equation (41).

식 (41)formula (41)

여기서, x는 보간된 두 점 사이의 거리이다.Here, x is the distance between the two interpolated points.

최근린 보간법에 비해 영상에서 지형과 지물의 가장자리에 발생하는 계단 효과는 적게 나타난다.Compared to the nearest lean interpolation method, the stair effect occurring at the edge of the topography and features in the image is small.

3차 회선 보간법cubic convolutional interpolation

3차 회선 보간법은 2차원 정규 격자에서 3차 보간법을 통해 향상되며, 보간된 값으로 이루어지 표면은 최근린 및 쌍선형 보간법에서 얻은 표면보다 부드럽다. 3차 회선 보간법은 가장 가까운 16개의 픽셀을 지정된 입력 좌표로 가중치에 따라 평균하여 회색 레벨값을 결정하고 해당 값을 1차원 출력 값으로 할당한다. 3차 회선 보간(2차원에서 3차 회선 보간)의 경우 보간 함수를 계산하는데필요한 격자점의 수는 16개이다. 3차 회선 보간법은 식 (42)과 같이 정의된다.The cubic convolutional interpolation method is improved through cubic interpolation on a two-dimensional regular grid, and the surface made up of the interpolated values is smoother than the surface obtained from the nearest neighbor and bilinear interpolation methods. The cubic convolutional interpolation method determines the gray level value by averaging the nearest 16 pixels with the specified input coordinates according to the weight, and assigns the corresponding value as a one-dimensional output value. In the case of cubic convolutional interpolation (cubic convolutional interpolation from 2D), the number of grid points required to compute the interpolation function is 16. The cubic convolutional interpolation method is defined as Equation (42).

식 (42)formula (42)

3차 회선 보간법은 영상에서 지형과 지물의 가장자리에서 발생할 수 있는 계단 효과는 현저하게 줄어들면서 부드러운 형태로 나타나는 반면, 최근린 보간법이나 쌍선형 보간법에 비해 영상 처리 시간이 2~3배 더 오래 걸리는 단점이 있다.The third-order convolutional interpolation method appears in a smooth form while remarkably reducing the step effect that can occur at the edges of terrain and features in the image. There is this.

융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가져야 한다. The fused image is a color image with a ground resolution of 25 cm, which is the same resolution as a high-resolution grayscale image, and must have the same color as the color-corrected low-resolution color image.

정량적 품질평가는 색상보정된 컬러영상과 지상해상도가 동인하도록 융합된 영상의 지상해상도를 1m로 다운샘플링한다. For quantitative quality evaluation, the terrestrial resolution of the fused image is downsampled to 1m so that the color-corrected color image and the terrestrial resolution are the same.

정량적 품질 검수는 Vaiopoulos (2011)이 Matlab으로 평가지수를 이용해 품질을 평가하고 리포트를 산출하였다[Mathworks.com, pansharp.com(b)]. For quantitative quality inspection, Vaiopoulos (2011) evaluated the quality using the evaluation index in Matlab and produced a report [Mathworks.com, pansharp.com(b)].

도 13과 같이 Image Index Analysis GUI를 이용하여 색상보정된 저해상도 컬러영상을 기준 영상으로 입력하고 저해상도로 이미지 스케일링된 융합영상을 테스트 영상으로 입력하였다[Vaiopoulos (2011)].As shown in FIG. 13, a color-corrected low-resolution color image was input as a reference image using the Image Index Analysis GUI, and a fusion image scaled to a low resolution was input as a test image [Vaiopoulos (2011)].

융합영상은 5가지 표본 영상과 4가지 회색조 변한 방법, 8가지 영상융합 기법으로 총 160개 영상을 처리하였으며, Bias, DIV, CC, Entropy Difference,ERGAS, Q(UIQI), RASE, RMSE 등 8가지 평가지표를 이용한 품질평가 결과로 총 1,280개의 리포트가 산출되었다. 여기서 색상보정한 컬러영상과 융합된 영상 각각에 대한 Entropy 차이인 Entropy Difference는 Entropy로 표현하였고,Q(UIQI)는 UIQI로 표기하였다.For the fusion image, a total of 160 images were processed with 5 sample images, 4 grayscale change methods, and 8 image fusion techniques. As a result of quality evaluation using evaluation indicators, a total of 1,280 reports were calculated. Here, the Entropy Difference, which is the difference in entropy for each of the color-corrected color image and the fused image, was expressed as Entropy, and Q(UIQI) was expressed as UIQI.

품질평가 결과 리포트는 도심지, 농경지(혼합), 농경지(경작), 산지, 바다 순서에 따라 표본 영상별 HSI, HSL, BT.709, BT.601 순서로 4가지 회색조 변환 방법에 따라 저해상도 컬러영상을 이용해 8가지 기법으로 영상을 융합하였고 그 결과를 8가지 품질평가 지표로 평가하였다. 표 제목 끝에는 회색조 변환 방법을 괄호 안에 삽입하였으며 해당 기법으로 변환된 회색조영상을 사용한 결과였음을 표시하였다. 또한 평가 기법별 가장 좋은 품질의 융합 기법에는 회색 음영으로 분석값을 강조하였다.The quality evaluation result report is based on the following four grayscale conversion methods: HSI, HSL, BT.709, and BT.601 for each sample image in the order of urban area, agricultural land (mixed), agricultural land (cultivation), mountain area, and sea. Images were fused using 8 techniques, and the results were evaluated with 8 quality evaluation indicators. At the end of the table title, the grayscale conversion method is inserted in parentheses, indicating that it was the result of using the grayscale image converted by the method. In addition, the analysis value was emphasized in gray shades for the best quality fusion technique for each evaluation technique.

(1) 도심지 영상에 대한 품질평가 지표 산출(1) Calculation of quality evaluation index for urban images

도심지에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 6으로 정리하였다Table 6 for each grayscale conversion method using the quality evaluation report for downtown areas

(2) 농경지(혼합) 영상에 대한 품질평가 지표 산출(2) Calculation of quality evaluation index for farmland (mixed) images

농경지(혼합)에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 7로 정리하였다Table 7 summarizes each grayscale conversion method using the quality evaluation report for agricultural land (mixed).

(3) 농경지(경작)에 대한 정량적 품질평가 결과(3) Quantitative quality evaluation results for agricultural land (cultivation)

농경지(경작)에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 8로 정리하였다Table 8 for each grayscale conversion method using the quality evaluation report for agricultural land (cultivation)

(4)산지 영상에 대한 품질평가 지표 산출(4) Calculation of quality evaluation index for local images

산지에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 9로 정리하였다Table 9 for each grayscale conversion method using the quality evaluation report for the production area.

(5) 바다 영상에 대한 품질평가 지표 산출(5) Calculation of quality evaluation index for sea images

바다에 대해 품질평가 리포트를 이용하여 회색조 변환 방법별로 표 10으로 정리하였다Table 10 for each grayscale conversion method using the quality evaluation report for the sea.

6. 영상분리 및 재융합 결과 분석6. Image separation and re-fusion result analysis

앞서 수행한 영상융합 결과에 대해 Bias, DIV, CC, Entropy, UIQI, RASE, RMSE 평가지표를 사용한 정량적 품질평가를 수정하였다. 모든 영상융합과 품질평가는 Wald 프로토콜에 원본 항공정사영상에 대한 색상보정과 해상도 조정, 회색조 변환, 정성적 품질 검수 및 위치 참조 분석 부분을 삽입하여 도 14와 같이 수정하였다.Quantitative quality evaluation using the Bias, DIV, CC, Entropy, UIQI, RASE, and RMSE evaluation indicators for the previously performed image fusion results was modified. All image fusion and quality evaluation were modified as shown in FIG. 14 by inserting color correction and resolution adjustment, grayscale conversion, qualitative quality inspection, and location reference analysis for the original aerial orthogonal image in the Wald protocol.

(1) 융합영상에 대한 위치 참조 분석(1) Location reference analysis for fusion images

지상해상도 25cm로 제작되는 고해상도 항공정사영상은 영상을 통해 판독할 수 있는 지형과 지물이 세부적으로 묘사됨에 따라 위치 정보에 대한 활용도가 매우 높다. 특히 지형과 지물의 가장자리를 뚜렷하게 확인할 수 있기 때문에 픽셀 단위의 정확도가 요구된다. 이와 같은 이유로 융합된 영상은 원본 항공정사영상과 동일하게 위치 정보를 가지고 있어야 하며 그렇지 않은 경우 융합된 영상이 좋은 색상을 재현했다고 하더라도 항공정사영상의 활용적인 면에서 적합하지 않은 기법이라고 할 수 있다.The high-resolution aerial orthographic image produced with a ground resolution of 25 cm is very useful for location information as the terrain and features that can be read through the image are described in detail. In particular, since the edges of terrain and features can be clearly identified, pixel-level accuracy is required. For this reason, the fused image must have the same location information as the original aerial orthogonal image. Otherwise, even if the fused image reproduces good colors, it is an unsuitable technique in terms of the utility of the aerial orthogonal image.

이에 따라 본 연구에서는 8가지 융합 기법으로 융합된 영상에 대해 원본의 고해상도 항공정사영상과 위치 참조 정보를 비교하여 영상의 위치에 따라 좌표를 정확하게 포함하고 있는지 분석하였으며 분석된 영상의 지상해상도는 모두25cm이다. 융합된 영상은 융합기법에 따라 고유한 포맷으로 제작되기도 하여 항공정사영상의 표준 포맷인 tiff로 변환하였다. 이때 위치 참조 정보를 포함하는 tfw 파일이 포함되도록 하였으며 융합된 영상 각각의 위치 정보가 원본 항공정사영상과 일치하는지 tfw 파일을 이용해 분석하였다.Accordingly, in this study, the original high-resolution aerial orthographic image and the location reference information were compared for the image fused by 8 fusion techniques to analyze whether the coordinates were accurately included according to the location of the image. The ground resolution of the analyzed image was 25 cm am. The fused image was also produced in a unique format according to the fusion technique, so it was converted into tiff, the standard format for aerial orthogonal images. At this time, a tfw file including location reference information was included, and the tfw file was used to analyze whether the location information of each fused image matches the original aerial orthogonal image.

tfw 파일의 위치 참조 정보는 총 6행으로 구성되어 있다. 첫 번째 행은 픽셀에 대한 X축의 공간해상도를 나타내며, 두 번째, 세 번째 행은 각각 Y축, X축에 대한 회전량으로 일반적인 값은 0이다. 네 번째 행은 Y축에 대한 픽셀의 공간해상도로서 음수 값으로 표현되며 다섯 번째와 여섯 번째 행은 각각 기준이 되는 좌·상단의 첫 번째 픽셀 중심에 대한 X, Y 좌표이다. 연구에 사용된 5개 표본 영상과 융합 결과에 대한 위치 참조 정보는 하기 표 11과 같다. 분석 결과 Table에서 Y축, X축의 회전량인 0은 생략하였다. 또한 융합 기법 첫 번째 행인표본 영상 원본은 표본 영상별 지상해상도 25cm의 고해상도 항공정사영상 원본을 가리킨다.The location reference information of the tfw file consists of a total of 6 lines. The first row shows the spatial resolution of the X-axis for the pixel, and the second and third rows are the rotation amount about the Y-axis and the X-axis, respectively. A typical value is 0. The fourth row is the spatial resolution of the pixel on the Y-axis, which is expressed as a negative value, and the fifth and sixth rows are the X and Y coordinates of the center of the first left and top pixels, respectively. The five sample images used in the study and the location reference information for the fusion results are shown in Table 11 below. In the analysis result table, 0, which is the rotation amount of the Y-axis and X-axis, was omitted. In addition, the original image of the first passerby specimen of the fusion technique refers to the original high-resolution aerial orthographic image with a ground resolution of 25 cm for each specimen image.

융합영상에 대한 위치 참조 분석은 원본 영상에서의 좌표에서 융합된 영상의The positional reference analysis for the fusion image is the coordinates of the fused image in the original image.

좌표를 감산하는 방법으로 진행하였다. 감산한 결과가 X축에서 양수이면 서쪽방향, Y축에서 양수이면 남쪽 방향으로 이동하는 좌표가 된다.It proceeded by subtracting the coordinates. If the result of subtraction is positive on the X-axis, the coordinates move in the west direction, and if the result of the subtraction is positive on the Y-axis, the coordinates move in the south direction.

분석 결과 BDSD, Brovey, HCS, IHS, LMM, LMVM 기법에서는 영상의 위치가 원본 영상과 동일하게 제작된 반면, GS와 Wavelet 기법에서는 위치가 이동되었다. 이 결과는 5가지 표본 영상별로 회색조 변환 방법에 상관없이 모두 동일한 좌표 차이를 나타냈다. 도 15와 같이 GS 기법에서는 서쪽으로 25cm, 북쪽으로 25cm로서 모두 1픽셀 이동한 결과로 제작되었다. 반면 Wavelet 기법에서는 서쪽으로 375cm, 남쪽으로 375cm로서 모두 15픽셀 이동한 결과는 제작되었다. 결과적으로 항공정사영상을 이용한 영상융합 방법 중 GS와 Wavelet 기법은 위치 정확도 저하로 인해 적합하지 않다.As a result of the analysis, in the BDSD, Brovey, HCS, IHS, LMM, and LMVM techniques, the position of the image was produced the same as the original image, whereas in the GS and Wavelet techniques, the position was shifted. These results showed the same coordinate difference for each of the five sample images regardless of the grayscale transformation method. As shown in FIG. 15 , in the GS technique, 25 cm to the west and 25 cm to the north were all produced as a result of moving 1 pixel. On the other hand, in the Wavelet technique, the result was produced by moving 15 pixels to the west and 375 cm to the south. As a result, among the image fusion methods using aerial orthographic images, the GS and Wavelet methods are not suitable due to the degradation of positioning accuracy.

(2) 항공정사영상에 대한 회색조 변환 방법 분석(2) Analysis of grayscale conversion method for aerial orthographic image

항공정사영상을 이용한 영상융합에 가장 적합한 회색조 변환 방법을 결정하기 위해서는 4가지 회색조 변환 방법과 이를 이용한 8가지 융합 기법을 적용한 결과에서 가장 좋은 정량적 품질평가로 나타난 값에 따라 결정하였다. 이 결과는 정성적 품질평가에서도 동일하게 좋은 결과로 평가되었는지 분석하였으며 이를 통해 색상보정 결과가 영상융합 전·후에도 동일하게 적용되는지를 판단하는 중요한 근거가 될 수 있도록 하였다In order to determine the most suitable grayscale conversion method for image fusion using aerial orthogonal images, it was determined according to the value shown as the best quantitative quality evaluation in the results of applying 4 grayscale conversion methods and 8 fusion techniques using them. This result was analyzed whether it was evaluated as a good result in the qualitative quality evaluation, and through this, it became an important basis for judging whether the color correction result is applied equally before and after image fusion.

정량적 품질평가는 5가지 표본 영상별로 구분하고 각각의 융합 기법에 대해 8가지 품질평가지수를 적용하여 회색조 변환 방법별로 산출된 품질평가 결과를 그래프로 도시하였다. 또한 표본 영상별로 분석한 결과를 이용해 가장 적합한 회색조 변환 방법을 결정하였다. 품질평가 방법 중 CC와 UIQI의 경우 그 결과가 1로 수렴할수록, 나머지 방법은 0으로 수렴할수록 융합된 영상이 비교되는 원본 영상과 동일한 품질이라고 판단할 수 있다.Quantitative quality evaluation was divided into 5 sample images, and 8 quality evaluation indices were applied to each fusion technique, and the quality evaluation results calculated for each grayscale conversion method were shown in a graph. In addition, the most suitable grayscale conversion method was determined using the analysis results for each sample image. Among the quality evaluation methods, in the case of CC and UIQI, as the result converges to 1 and the other methods converge to 0, it can be determined that the fused image has the same quality as the original image to be compared.

분석 결과에 대한 표에서 회색조 변환 방법인 BT.709와 BT.601은 각각 709와 601로 표시하였고 4가지 모두 동일한 결과가 나온 경우 ALL, 3가지가 동일하게 나온 결과는 나머지 한 가지를 취소선으로 표시하였으며 2가지가 동일하게 나온 결과는 모두 표시하였다. 또한 가장 많은 평가지수에서 좋은 결과로 결정된 회색조 변환은 표 우측상단에 표시된 각각의 회색 음영으로 나타내었다.In the table for the analysis results, the grayscale conversion methods BT.709 and BT.601 are indicated as 709 and 601, respectively. If all four have the same result, the result is ALL. Both results were shown. Also, the grayscale conversion determined as a good result in the most evaluation indices is indicated by each grayscale displayed in the upper right corner of the table.

정성적 품질평가는 저해상도로 리샘플링된 융합영상을 색상보정된 저해상도컬러영상을 기준으로 중첩 비교하여 전체적인 영상의 밝기와 색상 톤을 평가하였다. 영상 중첩을 통한 정성적 비교 결과와 동일하게 시각적인 차이가 발생하도록 도 16과 같이 색상보정된 영상을 기준으로 융합된 영상에 대해 픽셀-픽셀 단위로 감산하는 래스터 분석을 진행하였으며 이 결과를 삽입하였다[helparcgiscom]For qualitative quality evaluation, the brightness and color tone of the overall image were evaluated by comparing the fusion image resampled at low resolution based on the color-corrected low-resolution color image. In order to generate the same visual difference as the qualitative comparison result through image superposition, raster analysis was performed on the fused image based on the color-corrected image as shown in FIG. [helparcgiscom]

표본 영상별로 색상보정된 지상해상도 1m의 컬러영상에서 회색조 변환 방법에 따라 처리한 융합 기법 결과 영상을 지상해상도 1m로 리샘플링하여 래스터 분석하였다. 본 연구에서 사용한 항공정사영상은 8비트 컬러영상으로 1개의 픽셀은 256단계의 밝기값을 나타내며 동일한 포맷의 두 영상을 감산 연산하면 픽셀의 밝기값은 -255부터 +255까지의 값을 가지며 픽셀값에 대해 색상을 -255는 파란색, 0은 흰색, +255는 빨간색 색상을 부여하여 그라데이션의 색상을 가지도록 색상 램프를 설정하였다. 분석 결과 픽셀값이 크지 않은 경우에는 0값의 부근에서는 모두 희게 나타나는데 본 연구에서는 시각적으로 좀 더 명확하게 구분하기 위하여 색상 램프를 1/10로 축소하였다. 그 결과 색상 램프를 -26부터+26으로 설정한 후 이 값을 기준으로 영상의 픽셀값을 스트레칭하여 구분이 용이하도록 하였다.The result image of the fusion technique processed according to the grayscale conversion method from the color image of 1m ground resolution corrected for each sample image was resampled to 1m ground resolution and raster analysis was performed. The aerial orthographic image used in this study is an 8-bit color image, and each pixel represents 256 levels of brightness. The color ramp was set to have a gradation color by giving -255 to blue, 0 to white, and +255 to red. As a result of the analysis, if the pixel value is not large, all of them appear white in the vicinity of the 0 value. In this study, the color ramp was reduced to 1/10 in order to visually distinguish it more clearly. As a result, the color ramp was set from -26 to +26, and pixel values of the image were stretched based on this value to facilitate identification.

(3) 회색조 변환 방법 결정 (3) Determine the grayscale conversion method

회색조 변환 방법에 따른 차이는 융합영상을 나란히 비교하여 육안으로 차이를 인식하긴 어렵지만 중첩하여 비교하면 전체적인 밝기와 부분적인 밝기의 차이를 확인할 수 있었다. 특히 래스터 분석을 통해 색상보정 영상과 융합된 영상의 차이 정도를 색상으로 표현하여 정성적인 품질을 평가하였다.As for the difference according to the grayscale conversion method, it is difficult to recognize the difference with the naked eye by comparing the fusion images side by side. In particular, the qualitative quality was evaluated by expressing the difference between the color-corrected image and the fused image in color through raster analysis.

회색조 변환 방법에 따른 영상융합 차이는 품질평가를 통해 정량적인 결과로 확인할 수 있었다. 본 연구에서의 각 5가지 표본 영상, 4개의 회색조 변환 방법에 따라 8개의 평가지표를 이용해 품질 결과를 산출하였고 그결과를 이용해 회색조 변환 방법에 따른 영상융합 결과를 비교하였다. 정량적 품질평가는 이를 이용해 평가지수에 따라 가장 좋은 결과가 나온 회색조 변환 방법을 5가지 표본별로 표 12에 정리하였다. 또한 래스터분석을 이용한 정성적 품질평가를 적용하여 각 표본 영상별로 항공정사영상의 색상보정에 적합한 회색조 변환 기법을 결정하였다.The difference in image fusion according to the grayscale conversion method could be confirmed as a quantitative result through quality evaluation. In this study, quality results were calculated using 8 evaluation indicators according to each of the 5 sample images and 4 grayscale conversion methods, and the results of image fusion according to the grayscale conversion method were compared using the results. In the quantitative quality evaluation, the grayscale conversion method with the best results according to the evaluation index is summarized in Table 12 for each of the five samples. Also, by applying qualitative quality evaluation using raster analysis, grayscale conversion techniques suitable for color correction of aerial orthogonal images were determined for each sample image.

각 표본 영상에서 융합영상에 대한 회색조 변환 방법 분석 결과 영상융합 중HCS에서는 BT.709가 최적의 회색조 변환 방법으로 나타났지만 나머지 방법에서는 BT.601에서 가장 좋은 결과로 분석되었다. 특히 BT.601은 5가지 실험 표본 모두에서 가장 좋은 영상융합 결과를 만들 수 있는 것으로 평가됐다. 각 표본 영상 별 영상 중첩과 래스터 분석 결과를 통해 정성적 품질평가 결과를 표 13와 같이 정리하였다. 품질 정도는 3등급(●:Good, ◎:Normal,○:Bad)을 나누었고, 색상(■:Good, □:Bad)과 가장자리(▲:Good, △:Bad) 재현정도는 각각 2등급으로 구분하였다. 면적으로 표현되는 색상은 색상 재현이 나쁜 결과이고 지형과 지물의 외곽선 등의 색상은 가장자리 부분에서 색상 재현이 나쁘다는 결과이다. 601 회색조 변환 방법은 BDSD 기법에서 특히 좋은 품질을나타내었으며 이 결과는 정량적 품질평가 결과와 동일하게 분석되었다.As a result of analyzing the grayscale conversion method for the fusion image in each sample image, BT.709 was found to be the best grayscale conversion method in HCS during image fusion, but BT.601 was analyzed as the best result in the rest of the methods. In particular, BT.601 was evaluated to produce the best image fusion results in all five experimental samples. Table 13 summarizes the qualitative quality evaluation results through the image overlap and raster analysis results for each sample image. The quality level was divided into 3 grades (●:Good, ◎:Normal, ○:Bad), and the color (■:Good, □:Bad) and edge (▲:Good, △:Bad) reproducibility were divided into 2 grades respectively. did. The color expressed by area is the result of poor color reproduction, and the color of the outline of the terrain and features is the result of poor color reproduction at the edge. The 601 grayscale conversion method showed particularly good quality in the BDSD technique, and this result was analyzed in the same way as the quantitative quality evaluation result.

7. 항공정사영상의 영상융합 결과 분석7. Image fusion result analysis of aerial orthogonal images

항공정사영상에 대한 영상융합 방법 결정은 융합영상에 대한 품질평가 결과 중 BT.601 회색조 변환 방법에 따른 결과만을 추출하였다. 이를 이용해 도심지, 농경지(혼합), 농경지(경작), 산지, 바다 등 각각의 실험 표본마다 육안 검수를 통한 정성적인 분석과 평가지표를 이용한 정량적인 분석을 진행하였다.For determining the image fusion method for aerial orthogonal images, only the results according to the BT.601 grayscale conversion method were extracted among the quality evaluation results for fusion images. Using this, qualitative analysis through visual inspection and quantitative analysis using evaluation indicators were carried out for each experimental sample such as downtown, agricultural land (mixed), agricultural land (cultivation), mountainous area, and the sea.

평가지수에 의한 정량적 품질평가는 유합된 영상을 개별 파일 단위로 처리하여 통계적으로 분석하는 반면 정성적 품질평가는 융합된 영상의 공간해상도 및 노이즈 유무, 색상 등을 직접 비교하여야 한다. 융합된 영상은 지상해상도 25㎝, 가로, 세로 500m 크기이며 각각 2,000픽셀의 크기이다. 색상보정한 정사영상은 지상해상도 1m의 저해상도 컬러영상으로서 융합된 영상과 직접 비교할 수 없다.Quantitative quality evaluation by evaluation index treats the fused images in individual file units and statistically analyzes them, whereas qualitative quality evaluation requires direct comparison of spatial resolution, noise, and color of fused images. The fused image has a ground resolution of 25 cm, a width and a length of 500 m, and each is 2,000 pixels in size. The color-corrected orthographic image is a low-resolution color image with a ground resolution of 1 m and cannot be directly compared with the fused image.

우선 저해상도 컬러영상의 색상보정에 사용한 벡터 마스크와 파라미터를 고해상도 원본 컬러영상에 동일하게 적용하여 색상을 보정하였다.First, color correction was performed by applying the same vector mask and parameters used for color correction of a low-resolution color image to the high-resolution original color image.

벡터 마스크는 색상, 밝기, 편집 범위를 영상에 직접 적용하지 않고 레이어로 저장하여 재적용이 가능한 특징이 있으며 벡터로 정보를 저장하기 때문에 영상에 맞게 축척을 조정하면 색상 파라미터를 동일하게 적용할 수 있다. 이를 기반으로 원본의 고해상도 항공정사영상에서 색상보정한 영상을 기준으로 고해상도융합영상과 육안으로 비교하여 영상의 색상 및 지형과 지물의 가장자리 부분에 대한 선형 재현 정도로 해상도를 판단하였다.A vector mask has a feature that it can be reapplied by storing the color, brightness, and editing range as a layer instead of directly applying it to the image. . Based on this, the resolution was judged by the degree of linear reproduction of the color of the image and the edges of the topography and features by visual comparison with the high-resolution fusion image based on the color-corrected image from the original high-resolution aerial orthographic image.

정성적 품질평가를 위하여 도 17과 같이 표본 영상마다 지붕, 도로,차선 등과 같이 지형과 지물의 형태 및 명암이 뚜렷한 지역을 선정하여 가로,세로 375m, 각각 150픽셀로 추출하였다. 품질평가는 기술된 정성적 평가 방법에 따라 영상을 확대하여 지형과 지물의 가장자리에 대한 해상도와 영상의 노이즈 발생 정도를 절대적으로 평가하고 영상 전체의 색상과 밝기에 대한 재현 정도를 상대적으로 평가하여 가장 좋은 결과에 1등급, 가장 좋지 않은 결과에 5등급을 부여하는 방법으로 구분하였다.For qualitative quality evaluation, as shown in FIG. 17, for each sample image, a region with a clear shape and contrast of topography and features such as a roof, a road, a lane, etc. was selected and extracted with a width of 375 m and a length of 150 pixels, respectively. The quality evaluation is performed by enlarging the image according to the described qualitative evaluation method, absolutely evaluating the resolution of the edges of the terrain and features and the noise generation level of the image, and relatively evaluating the reproduction level of the color and brightness of the entire image. The results were divided into 1 grade for good results and 5 grades for worst results.

(1) 도심지 영상융합 결과 분석(1) Analysis of urban image fusion results

도심지 융합영상은 건물, 차선 등 형태와 색상이 명확한 인공 지물이 많으며특히 원색에 가까운 뚜렷한 색상의 주택 지붕과 같이 명확한 형태가 많아 이를 이용해 영상을 비교하는 것이 용이하다. 따라서 영상융합 과정에서 발생하는 선형에 대한 왜곡 및 색상 재현 정도를 판단할 수 있다.In urban fusion images, there are many artificial features with clear shapes and colors, such as buildings and lanes, and in particular, there are many clear shapes such as the roof of a house with a clear color close to the primary color, so it is easy to compare images using these. Therefore, it is possible to determine the degree of linear distortion and color reproduction occurring in the image fusion process.

정량적 품질평가 결과는 도 18과 같다. 평가지표 CC, UIQI는 1이 가장 이상적인 값으로 BDSD 기법이 가장 우수한 결과로 나타났다. 색상보정된 컬러영상에서의 분산과 융합영상에서의 분산간의 차이를 나타내는 DIV 평가지표에서는 LMVM 기법이 가장 좋은 결과를 나타냈다. 영상에 포함된 정보를 나타내는 Entropy의 차이는 LMM 기법이 가장 우수하였다. LMM 기법은 RASE, RMSE 평가지표에서도 가장 우수하게 분석되었다.The quantitative quality evaluation results are shown in FIG. 18 . As for the evaluation indicators CC and UIQI, 1 was the most ideal value, and the BDSD method showed the best results. In the DIV evaluation index, which shows the difference between variance in color-corrected color images and variance in fusion images, the LMVM technique showed the best results. The difference in entropy representing the information included in the image was the best in the LMM technique. The LMM technique was analyzed best in the RASE and RMSE evaluation indicators.

색상보정한 저해상도 컬러영상과 8가지 융합영상에서 동일한 지점을 추출하여 지형과 지물의 가장자리 재현과 노이즈 유무 등에 대한 비교를 통해 해상도의 재현 정도를 분석하였다. 도 19과 비교하여 정성적 품질평가를 하였으며 정확한 비교는 중첩을 통해 수행하였다. 영상융합 기법 중 LMVM은 뿌옇게 흐려지는 결과가나타났다. 고해상도 영상을 이용하였기 때문에 차선과 같은인공지물에서 공간해상도 재현 정도를 판단할 수 있었는데 HCS, LMM, LMVM에서 특히 가장자리 부분의 번짐과 잔상 효과 흐림 효과 등이 크게 발생하였다.By extracting the same point from the color-corrected low-resolution color image and 8 types of fusion images, the reproducibility of resolution was analyzed by comparing the reproduction of the edges of the terrain and features and the presence or absence of noise. Qualitative quality evaluation was performed compared with FIG. 19, and accurate comparison was performed through overlap. Among the image fusion techniques, LMVM resulted in blurring. Because high-resolution images were used, it was possible to judge the degree of spatial resolution reproduction in artificial features such as lanes. In HCS, LMM, and LMVM, especially the blurring of the edges and blurring of the afterimage effect occurred significantly.

공간 정보의 오류도 발생했는데 GS, Wavelet의 경우 전체 영상이 1~15픽셀 정도 이동하여 위치 오차가 발생했다. 고해상도 정사영상에서의 위치 오차는 매우 중요한 문제라고 할 수 있다.There was also an error in spatial information, but in the case of GS and Wavelet, the entire image was shifted by 1 to 15 pixels, resulting in a positional error. Positional error in high-resolution orthographic images is a very important problem.

정성적 평가는 표 14와 같이 항목별 점수로 평가하였다. 품질평가 결과Qualitative evaluation was evaluated by the score for each item as shown in Table 14. Quality evaluation result

BDSD 기법이 가장 완벽하게 융합되어 원본과 거의 동일하게 판단되었다. 다만 표 13에서는 LMM 기법의 품질평가 결과가 더 좋게 나왔지만 가장자리부분에서의 번짐과 잔상 효과로 인해 시각적 판단에서 BDSD보다는 낮은 품질로 판단되었다.The BDSD technique was most perfectly fused and judged to be almost identical to the original. However, in Table 13, although the quality evaluation result of the LMM technique was better, it was judged to be of lower quality than the BDSD in the visual judgment due to the effect of smearing and afterimages at the edges.

(2) 농경지(혼합) 영상융합 결과 분석(2) Analysis of results of image fusion of agricultural land (mixed)

농경지(혼합)에서 영상융합 결과 평가지표별 정량적 품질평가 결과는 도 20과 같다. 평가지표 Bias에서는 BDSD, HCS, LMVM, Wavelet 기법이 우수하였고 DIV에서는 BDSD, GS, Wavelet 기법이 우수하였다. CC에서는 BDSD, Brovey, IHS 기법의 품질이 좋게 분석되었고 Entropy 에서는 Brovey, IHS,LMVM 기법이 우수하였다. 평가지표 ERGAS, UIQI, RASE, RMSE에서는 BDSD 기법이 우수한 품질로 분석되었다. 농경지(혼합)에서의 품질평가 결과 BDSD 기법에서는 Entropy를 제외하고 나머지 평가지표에서 매우 우수한 품질로 분석되었다.The quantitative quality evaluation results for each image fusion result evaluation index in agricultural land (mixed) are shown in FIG. 20 . In the evaluation index Bias, BDSD, HCS, LMVM, and Wavelet were excellent, and in DIV, BDSD, GS, and Wavelet were excellent. In CC, the quality of BDSD, Brovey, and IHS techniques was analyzed well, and in Entropy, Brovey, IHS, and LMVM techniques were excellent. In the evaluation indicators ERGAS, UIQI, RASE, and RMSE, the BDSD technique was analyzed with excellent quality. As a result of quality evaluation in farmland (mixed), the BDSD method was analyzed to have very good quality in the remaining evaluation indicators except for Entropy.

농경지(혼합)에서 색상보정된 저해상도 컬러영상과 8가지 융합영상에서 추출한 영상은 도 21과 같다. 가운데 붉은 테두리 영상이 저해상도 컬러영상이며, 이 영상을 기준으로 정성적 품질평가를 하였다.The images extracted from the color-corrected low-resolution color image and eight fusion images on agricultural land (mixed) are shown in FIG. 21 . The red border image in the middle is a low-resolution color image, and qualitative quality evaluation was performed based on this image.

농경지(혼합)는 산과 경작지의 녹색이 대부분을 이루고 있으며 중간에 원색에 가까운 지붕이 있는 마을이 포함되어 있어 산지가 많은 우리나라 지형을 대표할 수 있는 표본이다. 정성적 평가는 중간의 마을 부분에서 지붕의 선형과 색상을 비교하였으며 녹색 및 푸른색이 많은 영상에서 녹색의 번짐이나 색상의 변화 여부를 중점적으로 비교하였다.Agricultural land (mixed) is a sample that can represent the topography of Korea, which has many mountainous areas, as most of them are green in mountains and cultivated land, and villages with roofs close to the primary color are included in the middle. Qualitative evaluation compared the shape and color of the roof in the middle part of the village, and focused on whether the green or blue color changes or spreads in the green and blue images.

도 21과 같이 영상융합 기법 중 LMVM 기법은 뿌옇게 흐려지는 결과가 나타났음을 알 수 있다. HCS, LMM, Wavelet에서는 가장자리 번짐이나 노이즈가 발생하였다.As shown in FIG. 21 , it can be seen that the LMVM technique among the image fusion techniques resulted in blurring. Edge blur or noise occurred in HCS, LMM, and Wavelet.

파란색의 지붕에서는 흐림 효과나 짙어지는 결과가 나왔는데 Brovey, GS,IHS,LMVM, Wavelet 기법에서 발생하였다. 이와 같은 특징은 전체적으로 밝기가 어두워지면서 발생하였으며 색상 재현 정도에 있어서 파란색에 대한 왜곡이 크게 발생한 반면 녹색 계열에서는 큰 오류를 보이지 않았다. 또한 융합 과정에서 위치 오차가 발생하였는데 GS, Wavelet 기법에서 1~15픽셀 이동하였다.The blue roof resulted in blurring or thickening, which occurred in the Brovey, GS, IHS, LMVM, and Wavelet techniques. This characteristic occurred as the overall brightness became darker, and while the blue color distortion occurred greatly in the color reproduction degree, there was no significant error in the green series. In addition, a position error occurred during the fusion process, which was shifted by 1 to 15 pixels in the GS and Wavelet techniques.

농경지(혼합)에 대해 영상 중첩을 통한 정성적 평가 결과 BDSD 기법이 가장 우수한 융합 결과를 나타냈다. 융합된 영상이 약간 선명해지는 결과로 제작되었지만 색상과 해상도 재현 정도는 매우 우수하였다.As a result of qualitative evaluation through image overlay for agricultural land (mixed), the BDSD technique showed the best fusion result. Although the fused image was produced as a result of slightly sharpening, the color and resolution reproduction were very good.

농경지(혼합)에서의 정성적 품질평가 결과는 표 15에서 분석된 결과와 같이 BDSD 기법이 가장 결과가 좋은 융합 기법으로 분석되었다. HCS 기법의 경우 상대적 품질평가에서 우수한 결과로 나타났지만 앞선 도 21의 HCS를 보면 지형과 지물의 가장자리에 번짐이 발생하여 적합한 융합 기법이라 할 수 없다. As for the results of qualitative quality evaluation in agricultural land (mixed), as shown in Table 15, the BDSD technique was analyzed as the fusion technique with the best results. In the case of the HCS technique, it was shown to be an excellent result in the relative quality evaluation, but looking at the HCS of FIG.

(3) 농경지(경작) 영상융합 결과 분석(3) Analysis of results of image fusion of agricultural land (cultivation)

농경지(경작)에 대한 정량적 품질평가 결과는 도 22와 같다. 평가지표 Bias에서는 LMM 기법이 우수한 결과로 분석되었으며 DIV에서는 IHS 기법이 가장 우수한 품질로 나타났고 CC에서는 BDSD 기법과 함께 IHS 기법에서 융합품질이 좋았다. Entropy에서는 BDSD 기법이 가장 우수한 결과로 분석되었고 미세한 차이로 GS, LMM 기법도 결과가 우수하였다. BDSD 기법은 평가지표 ERGAS, UIQI, RASE, RMSE에서 가장 좋은 품질로 분석되었으며 다른 기법과 큰 폭으로 차이가 있었다. 특히 ERGAS, RASE, RMSE에서 융합 기법별 상대적인 품질이 거의 비슷한 결과로 타나났다. 가장 좋은 결과로는 BDSD, GS, LMM순서이며 Brovey, IHS 기법은 동일한 결과였고 다음으로 HCS, Wavelet,LMVM 순서였다. 평가지표 UIQI에서는 BDSD, IHS, Brovey, GS 순서였고 HCS와 LMM은 동일하였으며 다음으로 Wavelet, LMVM 순서였다.The results of quantitative quality evaluation on farmland (cultivation) are shown in FIG. 22 . In the evaluation index Bias, the LMM technique was analyzed as an excellent result. In the DIV, the IHS technique showed the best quality, and in the CC, the convergence quality was good in the IHS technique along with the BDSD technique. In Entropy, the BDSD technique was analyzed as the best result, and the GS and LMM techniques were also excellent in the slight difference. The BDSD technique was analyzed with the best quality in the evaluation indicators ERGAS, UIQI, RASE, and RMSE, and it was significantly different from other techniques. In particular, in ERGAS, RASE, and RMSE, the relative quality of each fusion technique was almost similar. The best results were BDSD, GS, and LMM in the order, and the Brovey and IHS methods had the same results, followed by HCS, Wavelet, and LMVM. In the evaluation index UIQI, BDSD, IHS, Brovey, GS were in the order, HCS and LMM were the same, followed by Wavelet and LMVM.

농경지(경작)는 전체적으로 옅은 녹색을 가진 표본으로서 밝기와 채도의 표현에 있어서 산지에서 표현되는 짙은 그림자가 생기는 것과는 다르다. 특히 옅은녹색에서 노란색이 과다하게 표현되거나 그와 반대로 파란색이 표현되는 경우를 확인할 수 있다. 이와 함께 시안색의 영향을 판단할 수 있으며 이는 추수가 끝난 후의 갈색의 논, 밭 등에서 빨강 및 마젠타 영향이 발생한다. 이로 인해 다른 표본보다 색상의 감산 혼합을 확인할 수 있는 마젠타, 시안, 노란색의 영향정도로 RGB 밴드의 균형을 확인할 수 있다.Cropland (cultivation) is a specimen with a light green color as a whole, and it is different from the dark shadows expressed in mountainous areas in expression of brightness and saturation. In particular, it can be seen that yellow is excessively expressed in light green or, conversely, blue is expressed. At the same time, the effect of cyan can be judged, which causes red and magenta effects in brown rice fields and fields after harvest. Due to this, it is possible to check the balance of the RGB bands with the degree of influence of magenta, cyan, and yellow, which can confirm the subtractive mixing of colors than other samples.

영상융합 결과는 도 23과 같다. 융합 기법별로 영상융합 품질이 표본영상마다 동일하게 나타나고 있다. 가장자리 부분이 번지거나 잔상으로 표현되는 LMM 기법과 뿌옇게 흐려지는 흐림 효과는 LMVM에서 매우 심하게 나타났다. HCS 기법의 경우 지형과 지물 가장자리에서 노이즈가 발생하여 영상에서 선형의 줄이 발행하는 것 같은 문제가 발생하였다.The image fusion result is shown in FIG. 23 . The image fusion quality for each fusion technique is the same for each sample image. The LMM technique, in which the edges are blurred or expressed as an afterimage, and the blurring effect of blurring were very severe in LMVM. In the case of the HCS technique, noise was generated at the edges of the terrain and features, causing problems such as linear lines in the image.

Brovey, IHS 기법에서는 채도가 떨어지면서 어둡거나 색상이 탁하게 나타났다. 위치 참조 분석 결과와 같이 GS, Wavelet 기법에서는 영상이 1~15픽셀 이동한 결과가 나타났으며 영상 중첩 비교를 통해 GS 기법은 좌·상단으로, Wavelet 기법은 우·하단으로 이동하였다. 농경지(경작)에서도 BDSD 기법의 융합영상이 시각적으로는 원본 영상과 구분할 수 없을 만큼 동일한 품질로 분석되었다.In the Brovey and IHS technique, as the saturation decreased, the color appeared dark or murky. As with the location reference analysis results, the GS and Wavelet technique showed that the image was shifted by 1~15 pixels, and the GS technique moved to the left/top and the Wavelet technique to the right/bottom through image overlap comparison. Even in farmland (cultivation), the BDSD fusion image was analyzed with the same quality as the original image, visually indistinguishable from the original image.

정량적 품질평가 결과와 동일하게 정성적 품질평가에서도 표 16과 같이 BDSD 기법은 가장 우수한 품질로 평가 되었다. HCS와 LMM 기법에서도 상대적인 평가 결과는 우수하게 나타났지만 HCS와 LMM 기법에서는 가장자리에 잔상과 같은 노이즈가 발생하였다.As shown in Table 16, the BDSD technique was evaluated as the best quality in the qualitative quality evaluation as in the quantitative quality evaluation results. Although the relative evaluation results were excellent in the HCS and LMM techniques, noise such as an afterimage occurred at the edges in the HCS and LMM techniques.

(4) 산지 영상융합 결과 분석(4) Analysis of results of image fusion in the region

산지에 대한 정량적 품질평가 결과는 도 24와 같다. 평가지표 Bias에서는 LMM 기법이 가장 좋은 품질로 평가되었으며 이어서 HCS, BDSD 기법순서이다. Brovey, GS,IHS 기법은 다른 기법에 비해 특히 더 낮은 품질로 평가되었다. 평가지표 DIV에서는 BDSD가 가장 좋은 품질로 평가되었고 HCS와 IHS 기법은 비슷한 품질로 분석되었으며 LMM, LMVM, Wavelet 기법은 다른 기법에 비해 낮은 품질로 평가되었다. 평가지표 CC에서도 BDSD 기법이 가장 좋은 품질로 분석되었고 Brovey, IHS 기법은 비슷한 품질로 분석되었으며 HCS, LMM, LMVM, Wavelet 기법은 다른 기법보다 품질이 낮게 나타났다. 평가지표 Entropy에서는 GS 기법이 가장 좋은 품질로 나타났고 Wavelet, BDSD, IHS, Brovey는 비슷한 수준의 품질로 분석되었으며 LMVM 기법이 특히 낮은 품질로 분석되었다. 평가지표 ERGAS, UIQI, RASE, RMSE에서는 융합기법마다 비슷한 품질로 평가되었다. BDSD 기법이 가장 우수하였고 다음으로 GS, Brovey, IHS가 비슷한 품질이었으며 HCS와 LMM, Wavelet 기법 순서였다. LMVM 기법은 매우 낮은 품질로 분석되었다. 정량적 품질평가 결과 BDSD기법이 평가지표 Bias, Entropy를 제외한 나머지 지표에서 가장 우수한 융합품질로 분석되었다.The quantitative quality evaluation results for the production area are shown in FIG. 24 . In the evaluation index bias, the LMM technique was evaluated as the best quality, followed by the HCS and BDSD techniques. Brovey, GS, and IHS techniques were evaluated for particularly low quality compared to other techniques. In the evaluation index DIV, BDSD was evaluated as the best quality, HCS and IHS techniques were analyzed with similar quality, and LMM, LMVM, and Wavelet techniques were evaluated as low quality compared to other techniques. In the evaluation index CC, the BDSD technique was analyzed with the best quality, the Brovey and IHS techniques were analyzed with similar quality, and the HCS, LMM, LMVM, and Wavelet techniques showed lower quality than other techniques. In the evaluation index Entropy, GS technique showed the best quality, Wavelet, BDSD, IHS, and Brovey were analyzed with similar quality, and LMVM technique was analyzed with particularly low quality. In the evaluation indicators ERGAS, UIQI, RASE, and RMSE, each fusion technique was evaluated with similar quality. BDSD technique was the best, followed by GS, Brovey, and IHS with similar quality, followed by HCS, LMM, and Wavelet technique. The LMVM technique was analyzed with very low quality. As a result of quantitative quality evaluation, the BDSD technique was analyzed as the best fusion quality in the remaining indicators except for the evaluation indicators Bias and Entropy.

산지는 짙은 녹색과 연두색이 뒤섞여 있고 나무 그늘로 인해 검정색으로 보일 만큼의 급격한 밝기 차이를 보이는 특징이 있다. 또한 동서 방향으로 촬영되는 항공사진 특성으로 인해 산지의 북쪽 방향은 대부분 그림자가 지고 색상이짙게 표현된다. 이 부분에 포함되는 그림자는 매우 짙게 되는데 녹색에 파란색이 섞여 보이기도 한다. 특히 우리나라의 경우 촬영 시점이 5월경이면 활엽수잎이 풍성하게 되면서 노란색이 과하게 표현되거나 침엽수가 많은 산지에서는 상대적으로 녹색이 과하게 짙어지는 문제가 발생한다. 이는 항공사진 촬영시 카메라의 노출의 영향이기도 하지만 촬영구간이 도심지, 농경지에서 산지로 이어질 경우 RGB 밴드 중 상대적으로 Green, Blue 밴드로 색상 정보량이 편중되는 탓이기도 하다. 이럴 경우 상대적으로 R 밴드의 정보가 부족하게 되는데 이와 같은 경우 촬영된 원본 영상에서부터 색상 차이가 발생하게 되고 이로 인해 밴드별로 다른 가중치를 부여하는 필터링에서 다른 표본보다 특징 있는 결과가 나타날 수 있다.The mountainous area is characterized by a mixture of dark green and yellow green, and a sharp difference in brightness to the extent that it appears black due to the shade of trees. In addition, due to the characteristics of aerial photography taken in the east-west direction, most of the northern direction of the mountain area is shaded and the colors are deep. The shadows included in this part are very dark, and sometimes it looks like a mix of green and blue. In particular, in the case of Korea, when the shooting time is around May, the leaves of broad-leaved trees become abundant and the yellow color is excessively expressed, or the green color is relatively dark in mountainous areas with many conifers. This is not only the effect of the exposure of the camera during aerial photography, but it is also due to the fact that the amount of color information is relatively biased toward the Green and Blue bands among the RGB bands when the shooting section extends from urban areas or farmland to mountainous areas. In this case, information on the R band is relatively insufficient. In this case, a color difference occurs from the original captured image, and for this reason, a more characteristic result than other samples may appear in filtering that gives different weights to each band.

영상융합 결과는 도 25와 같다. BDSD 기법은 영상이 약간 선명해졌다. Brovey, IHS 기법은 약간 어두워지고, HCS는 가장자리 부근에 잔상이 생기면서 번지는 결과가 나타났다. GS 기법의 경우 파란색의 지붕을 더욱 진하게 강조하면서 좌·상단으로 1픽셀 이동하였다. LMM 기법의 경우 가장자리에 잔상이 크게 생기면서 밝은 도로 부분이 어둡게 변하였고 잔상으로 인해 전체적으로 어두워졌다. LMVM 기법의 경우 전체적으로 뿌옇게 흐려지면서 가장자리를 세부적으로 표현하지 못했다. Wavelet 기법에서는 전체적으로 흐려지면서 우·하단으로 1~15픽셀 이동하는 결과가 나타났다. The image fusion result is shown in FIG. 25 . The BDSD technique makes the image slightly clearer. Brovey, IHS technique slightly darkened, and HCS resulted in smearing with afterimages near the edges. In the case of the GS technique, the blue roof was further emphasized and moved one pixel to the left and top. In the case of the LMM technique, a large afterimage was generated at the edges, and the bright road part became dark, and the overall darkened due to the afterimage. In the case of the LMVM technique, the edges were not expressed in detail as the overall blur was blurred. In the wavelet technique, the result was as a result of moving 1 to 15 pixels to the right and bottom while blurring the whole.

산지에 대한 정성적 품질평가 결과는 표 17과 같다. 산지에서는 상대적품질이 BDSD, HCS, LMM, Wavelet에서 매우 좋은 결과로 보이지만 이는 비교적 줌 아웃 상태에서 전체 영상을 검수한 결과이며 절대 품질을 확인하면 노이즈와 흐림으로 인해 BDSD 기법을 제외한 모든 융합 기법에서 품질이 떨어졌다. 특히 번짐과 흐림 효과가 발생하는 HCS, LMM, LMVM 등에서는 그림자가생기는 부분에서 노이즈가 크게 발생했다. 산지의 정성적 품질평가 결과에서도 BDSD 기법이 가장 좋은 결과로 분석되었다.Table 17 shows the results of qualitative quality evaluation for production areas. In mountainous areas, the relative quality shows very good results in BDSD, HCS, LMM, and Wavelet, but this is the result of inspecting the entire image in a relatively zoomed out state. This fell. In particular, in HCS, LMM, and LMVM where blurring and blurring effects occur, a large amount of noise was generated in the shadow area. The BDSD method was analyzed as the best result in the qualitative quality evaluation of the production area.

(5) 바다 영상융합 결과 분석(5) Analysis of sea image fusion results

항공사진으로 표현되는 바다 색상은 몇 가지 원인으로 인해 다른 특징을 보인다. 정사영상 제작 시 바다는 태양에 반사되는 영향이 큰 문제가 되는데, 항공사진 촬영 시 강한 빛이 카메라의 노출에 직접적으로 영향을 미치게 되어 바다 색상이 짙은 색으로 표현되거나 심한 노이즈가 발생한다. 바다색은 플랑크톤 및 햇빛의 투과 정도에 따라 다르게 보인다[enwikipediaorg] 또한 계절, 날씨에 따라 바다에서의 빛 흡수율이 다르며 특히 촬영 카메라와 영상 후처리 과정에서도 다르게 표현된다. 이는 색상보정에서 바다가 영향을 더 받게 되며 이는색상보정 시 육지에 해당하는 도심지, 산지 등을 기준으로 처리하면서 수정한녹색, 파란색 밴드가 바다에서 과하게 표현되는 경향이 있다. 산지의 경우 그림자로 인해 색상보정 시 영향이 크게 보이지 않는 반면 바다의 경우 넓은 면적이 하나의 색상으로 되어 있고 비슷한 밝기에 점층적인 효과의 색상 변화가 넓기때문에 보정으로 인한 색상 변화가 매우 크게 보인다.The color of the sea expressed in aerial photography shows different characteristics due to several reasons. When making orthographic images, the effect of reflection from the sun on the sea is a big problem. In aerial photography, strong light directly affects the exposure of the camera, resulting in dark colors of the sea or severe noise. The color of the sea looks different depending on the plankton and the degree of penetration of sunlight [enwikipediaorg] In addition, the light absorption rate in the sea varies according to the season and weather, and it is expressed differently in the process of image post-processing, especially in the photographing camera. This is because the sea is more affected in color correction, and the corrected green and blue bands tend to be overexpressed in the sea while processing based on the urban and mountainous areas corresponding to land during color correction. In the case of mountainous areas, the effect of color correction due to shadows is not seen much, whereas in the case of the sea, a large area is made of one color and the color change of the gradual effect with similar brightness is wide, so the color change due to correction is very large.

항공사진을 통해 확인할 수 있는 우리나라 바다의 색상은 지역마다 다른 색상을 띄는데 주로 동해는 짙은 파란색, 남해는 연안에서 연두색에서 녹색, 파란색으로 변하며 서해는 얕은 연안에서부터 황토색에서 연두색으로 변한다. 본 실험에서는 남해 연안의 양식장 부근으로 비교적 수심이 깊은 지역에 해당하는데 검정색에 가까운 짙은 색상을 보인다. 짙은 바다색과 비교해 밝은 선형의 양식장에 대한 묘사를 통해 융합 기법마다 발생하는 가장자리와 노이즈 및 잔상에 대한 효과를 극대한 명암 차이에서 발생하는 노이즈 현상으로 확인할 수 있다.The color of the Korean sea, which can be confirmed through aerial photography, varies from region to region. Mainly, the East Sea changes to dark blue, the South Sea changes from yellow green to green and blue along the coast, and the West Sea changes from ocher to yellow green from the shallow coast. In this experiment, it is a relatively deep area near the farm in the southern sea, and it shows a dark color close to black. The effect on edges, noise, and afterimages that occur in each fusion technique can be confirmed as a noise phenomenon caused by the extreme difference in contrast through the description of the bright linear farm compared to the deep sea color.

바다에 대한 정량적 품질평가 결과는 도 26과 같다. 평가지표 Bias에서는 BDSD 기법의 결과가 가장 좋았으며 LMVM, IHS, LMM 기법 순서였다. GS, Brovey, Wavelet, IHS 기법은 품질이 크게 떨어지는 결과로 나타났다. 평가지표 DIV에서는 LMM 기법dl 가장 좋은 결과로 나타났고 GS, Wavelet,BDSD, LMVM 기법 순서의 결과였다. Brovey, HCS, IHS 기법은 다른 기법에서의 품질과 차이가 크게 나타났다. 평가지표 CC에서는 BDSD, Brovey, IHS기법이 좋은 결과로 분석되었으며 GS, Wavelet, LMVM 기법은 품질이 가장 떨어지게 나타났다. 평가지표 Entropy 에서는 LMM 기법이 가장 좋은 결과로 분석되었고 이어서 Wavelet, BDSD, GS 기법 순서로 나타났으며 LMVM 기법은 아주 큰 차이로 품질이 떨어졌다. 평가지표 ERGAS, RASE, RMSE에서는 비슷The quantitative quality evaluation results for the sea are shown in FIG. 26 . In the evaluation index bias, the BDSD method had the best results, followed by the LMVM, IHS, and LMM methods. The GS, Brovey, Wavelet, and IHS techniques resulted in significantly lower quality. In the evaluation index DIV, the LMM technique showed the best result, and it was the result of the GS, Wavelet, BDSD, and LMVM techniques. The Brovey, HCS, and IHS techniques showed a significant difference in quality and quality from other techniques. In the evaluation index CC, BDSD, Brovey, and IHS methods were analyzed with good results, and GS, Wavelet, and LMVM methods showed the lowest quality. In the evaluation index Entropy, the LMM technique was analyzed as the best result, followed by Wavelet, BDSD, and GS techniques in the order, and the LMVM technique was inferior in quality by a very large difference. Evaluation indicators are similar in ERGAS, RASE, and RMSE

한 유형으로 분석되었는데 BDSD 기법이 가장 좋은 품질로 분석되었으며 GS기법 다음으로 Brovey, IHS, LMM 기법이 비슷한 품질로 분석되었다. 평가지표 UIQI에서는 BDSD, Brovey, IHS가 좋은 결과로 분석되었으며 LMVM 기법은 가장 낮은 품질로 분석되었다.One type was analyzed, BDSD method was analyzed with the best quality, and Brovey, IHS, and LMM methods were analyzed with similar quality after GS method. In UIQI of evaluation index, BDSD, Brovey, and IHS were analyzed with good results, and LMVM technique was analyzed with the lowest quality.

영상융합 결과는 도 27와 같다. 영상융합 결과 잔상 및 번짐 효과를 뚜렷하게 확인할 수 있으며 HCS, LMM, LMVM에서 두드러지게 표현되었다.The image fusion result is shown in FIG. 27 . As a result of image fusion, the effect of afterimage and smear was clearly confirmed, and it was prominently expressed in HCS, LMM, and LMVM.

Brovey의 경우 GS와 매우 동일하나 전체적으로 밝기가 어둡고 파란색이 과하In the case of Brovey, it is very similar to the GS, but the overall brightness is dark and the blue is too much.

게 표현되었으며 GS, Wavelet 역시 앞선 표본에서 분석한 결과와 같이 1~15 픽셀 위치 이동이 발생하였다.In the case of GS and Wavelet, 1~15 pixel position shift occurred as the result of analysis in the previous sample.

바다에 대한 정성적 품질평가 결과 표 18과 같이 절대적 품질에서는 BDSD와 GS의 융합 품질이 가장 좋고 상대적 품질에서는 BDSD와 Wavelet 기법이 가장 좋은 품질로 분석되었다. 그러나 융합영상을 중첩하여 비교한 결과 GS는 좌·상단으로 이동하였고 Wavelet 기법은 우·하단으로 이동함에 따라 항공정사영상에 대한 융합 기법에 적합하지 않다. 바다에서의 정성적 품질평가 결과 BDSD가 가장 좋은 융합 품질로 분석되었다.As a result of qualitative quality evaluation of the sea, as shown in Table 18, the fusion quality of BDSD and GS was the best in absolute quality, and BDSD and Wavelet technique were analyzed as the best quality in relative quality. However, as a result of overlapping and comparing the fusion images, GS moved to the left and top, and the Wavelet method moved to the right and bottom, so it is not suitable for the fusion technique for aerial orthogonal images. As a result of qualitative quality evaluation in the sea, BDSD was analyzed as the best fusion quality.

8.8. 항공정사영상의 영상융합에 대한 품질평가Quality evaluation of image fusion of aerial orthogonal image

도심지, 농경지, 산지, 바다에 대해 8가지 기법을 적용하여 영상융합을 수행 하였다. 그 결과 각 실험 표본에 대해 8가지 평가지표로 정량적 품질평가를 수행한 결과 가장 우수한 품질로 분석된 융합 기법을 표 19와 같이 정리하였다. 도심지에서는 Entropy, ERGAS, RASE, RMSE 평가지표에서 LMM 기법이 가장 우수한 결과로 나타났으며 LMVM 기법은 Bias, UIQI 평가지표에서 가장 좋은 품질로 분석되었다. 농경지(혼합)에서는 평가지표 DIV, ERGAS, RASE,RMSE에서 BDSD 기법이 가장 우수한 결과로 분석되었으며 LMVM 기법은Bias, Entropy, UIQI 평가지표에서 우수한 결과로 나타났다. 농경지(경작)에서는 CC, Entropy, ERGAS, RASE, RMSE 평가지표에서 BSDS 기법이 가장 우수한 결과로 분석되었다. 산지에서는 평가지표 DIV, CC, ERGAS, RASE,RMSE에서 BDSD 기법이 가장 우수한 품질로 분석되었으며 바다에서는 Bias,CC, ERGAS, RASE, RMSE 평가지표에서 BDSD 기법이 가장 우수한 품질로 분석되었다.Image fusion was performed by applying eight techniques to urban areas, agricultural areas, mountains, and the sea. As a result, as a result of performing quantitative quality evaluation with 8 evaluation indicators for each experimental sample, the fusion technique analyzed with the best quality is summarized as shown in Table 19. In downtown areas, the LMM technique showed the best results in the entropy, ERGAS, RASE, and RMSE evaluation indicators, and the LMVM technique was analyzed with the best quality in the bias and UIQI evaluation indicators. In agricultural land (mixed), the BDSD method was analyzed as the best result in the evaluation indicators DIV, ERGAS, RASE, and RMSE, and the LMVM method showed excellent results in the Bias, Entropy, and UIQI evaluation indicators. In agricultural land (cultivation), the BSDS technique was analyzed as the best result in CC, Entropy, ERGAS, RASE, and RMSE evaluation indicators. In mountainous areas, the BDSD technique was analyzed with the highest quality in the evaluation indicators DIV, CC, ERGAS, RASE, and RMSE, and in the sea, the BDSD technique was analyzed as the best quality in the Bias, CC, ERGAS, RASE, and RMSE evaluation indicators.

5가지 표본 영상에서 지형과 지물이 포함된 지역을 가로, 세로 150m를 추출하여 지형과 지물에 대한 해상도 재현 정도와 가장자리 및 노이즈로 인한 색상오류 등에 대해 정성적인 분석을 수행한 결과는 표 20과 같이 정리하였다. BDSD 기법은 바다에서는 밝은 도로와 원색의 건물 옥상에서 밝기 변화가 미세하게 발생하였으나 모든 표본 영상에서 가장 우수한 융합 품질로 분석되었다.Table 20 shows the results of performing qualitative analysis on the reproducibility of the topography and features and color errors due to edges and noise by extracting 150 m horizontally and vertically from the five sample images. arranged. In the BDSD technique, a slight change in brightness occurred on a bright road and a roof of a building with primary colors in the sea, but it was analyzed as the best fusion quality in all sample images.

Brovey 기법은 중간 정도의 품질을 보였으나 농경지와 산지에서는 색상 차이가 있었고 도심지와 바다에서는 색상과 가장자리에 대한 해상도가 좋지 않았다.GS 기법은 도심지, 농경지(경작), 산지에서의 품질이 좋은 반면 농경지(혼합)과 바다에서의 품질은 좋지 않았으며 특히 좌·상단으로 1픽셀 이동하는 결과로 인해 정확도 문제가 발생하였다. HCS 기법은 대체적으로 색상은 잘 재현하는 반면 지형과 지물의 가장자리에 대한 해상도 재현이 매우 좋지 않았다. IHS 기법은 표본 영상마다 색상 재현과 가장자리에 대한 해상도 재현에 편차가 있었으며전체 영상을 어둡게 하고 파란색이 짙어지는 문제가 있었다. LMM 기법은 가장자리 부분에서 노이즈와 잔상효과가 크게 나타났고 어둡게 흐려지는 영상으로제작되었다. LMVM 기법은 작은 지물의 윤곽을 구분할 수 없을 만큼 전체적으로 흐림 정도가 아주 컸다. Wavelet 기법에서는 파란색을 주로 진한색으로 바뀌었고 지형과 지물의 가장자리에 대한 해상도 재현 정도가 좋지 않았다. 특히융합영상이 우·하단으로 15픽셀 영상이 이동한 결과가 나타났다.The Brovey technique showed medium quality, but there was a difference in color between farmland and mountain areas, and the resolution of color and edges was not good in downtown and sea areas. (Mixed) and the sea quality were not good, and in particular, accuracy problems occurred due to the result of moving 1 pixel to the left and top. The HCS technique generally reproduced colors well, but the resolution reproduction of the terrain and the edges of features was not very good. In the IHS technique, there was a difference in color reproduction and edge resolution reproduction for each sample image, and there was a problem in that the entire image was darkened and the blue color was deepened. In the LMM technique, noise and afterimage effects were large at the edges, and the image was produced as a dark and blurred image. In the LMVM technique, the overall degree of blur was so great that the outlines of small features could not be distinguished. In the Wavelet technique, blue was mainly changed to a dark color, and the reproducibility of the resolution for the edges of the terrain and features was not good. In particular, the result was that the 15-pixel image was moved to the right and bottom of the fusion image.

본 연구에서는 고해상도 항공정사영상에 대한 영상융합으로 공간해상도를 그대로 유지하면서 품질을 확보하는 게 중요하다. 그런 의미에서 GS, Wavelet 기법에서의 1~15픽셀 위치 오차는 매우 중요한 문제라고 할 수 있다. 고해상도 항공정사영상을 사용하기 때문에 색상과 해상도에 대 해 요구되는 품질이 높을 수 밖에 없다. HCS, LMM, LMVM 기법에서는 가장자리 부분에서 노이즈와 잔상효과가 있었으며 흐림 효과로 인해 지형지물의 형태와 사진의 색상이 뭉개지는 결과가 발생하였다. 또한 색상이 짙어지거나 강조되는 오류가 생긴 Brovey, IHS, Wavelet 등은 주로 파란색을 짙게 변화시켰다.In this study, it is important to secure quality while maintaining spatial resolution through image fusion of high-resolution aerial orthogonal images. In that sense, 1~15 pixel position error in GS and Wavelet techniques is a very important problem. Because high-resolution aerial orthographic images are used, the quality required for color and resolution is inevitably high. In the HCS, LMM, and LMVM techniques, there were noise and afterimage effects at the edges, and the shape of the features and the color of the photos were crushed due to the blurring effect. In addition, Brovey, IHS, and Wavelet, which had an error in which the color was darkened or emphasized, mainly changed the blue color darker.

영상에 대한 정성적인 분석 결과를 실험 표본에 대한 융합 기법으로 도 28과 같이 분석한 결과 융합 기법 중 BDSD가 모든 실험 표본에서 가장 적합한 융합 방법으로 분석됐다. 영상융합 기법은 실험 표본에 상관없이 대부분 일정한 품질로 나타났으며 표본의 특성에 따라 미세하게 차이가 발생하지만 영상 특성과 표본에 상관없이 일관된 융합 결과를 획득할 수 있었다.As a result of analyzing the qualitative analysis result of the image as a fusion technique for the experimental sample as shown in FIG. 28, among the fusion techniques, BDSD was analyzed as the most suitable fusion method in all the experimental samples. Most of the image fusion technique showed consistent quality regardless of the experimental sample, and although there was a slight difference depending on the characteristics of the sample, consistent fusion results were obtained regardless of the image characteristics and the sample.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다. The present invention described above is not limited by the above-described embodiments and the accompanying drawings, and it is common in the technical field to which the present invention pertains that various substitutions, modifications and changes are possible within the scope without departing from the technical spirit of the present invention. It will be clear to those who have the knowledge of

Claims

대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법에 있어서,
(1) 고해상도 항공정사영상을 사각형의 단위영상로 분리하여 인접부분 중복율이 1%이며, 분리된 영상의 위치참조정보에 대한 기준좌표가 10m 단위를 갖는 표본추출 단계;
(2) 분리된 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상과 저해상도 컬러영상으로 분리하는 단계;
(3) 상기 분리된 저해상도 컬러영상에 대한 색상 보정 단계;
(4) 상기 분리된 고해상도 회색조 영상과 상기 색상보정된 저해상도 컬러영상을 융합하여 색상보정된 고해상도의 컬러영상 재생산 단계;를 포함하는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
In a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image,
(1) a sampling step in which the high-resolution aerial orthogonal image is separated into a rectangular unit image, the overlap rate of the adjacent part is 1%, and the reference coordinate for the location reference information of the separated image has a unit of 10m;
(2) separating the separated high-resolution aerial orthogonal image into a high-resolution grayscale image of the original resolution and a low-resolution color image;
(3) a color correction step for the separated low-resolution color image;
(4) reproducing the color-corrected high-resolution color image by fusing the separated high-resolution grayscale image and the color-corrected low-resolution color image; a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, comprising a.

제1항에 있어서,
상기 (1)단계의 분리되는 기본 단위는 도심지, 농경지, 산지, 바다로 구분되며,
상기 농경지는 경작지 또는 혼합지인 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
According to claim 1,
The basic unit separated in step (1) is divided into downtown, agricultural land, mountainous area, and the sea,
The color correction method using a low-resolution color image of a large-capacity aerial orthographic image, characterized in that the agricultural land is cultivated land or mixed land.

제1항에 있어서,
상기 (2)단계의 고해상도 회색조영상과 저해상도 컬러영상의 분리시,
상기 고해상도 회색조영상는 모두 가로, 세로 2,000픽셀의 크기이며,
상기 저해상도 컬러영상은 1/4로 축소된 가로,세로 500픽셀 크기이고
상기 분리된 각각의 고해상도 회색조영상과 저해상도 컬러영상의 위치 참조 좌표도 자연수인 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
According to claim 1,
When separating the high-resolution grayscale image and the low-resolution color image in step (2),
All of the high-resolution grayscale images have a size of 2,000 pixels horizontally and vertically,
The low-resolution color image has a size of 500 pixels horizontally and vertically reduced to 1/4.
A color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, characterized in that the position reference coordinates of each of the separated high-resolution grayscale images and low-resolution color images are also natural numbers.

제1항에 있어서,
상기 (2)단계의 고해상도 항공정사영상을 원본 해상도의 고해상도 회색조영상으로 분리 변환을 위해 ITU-R BT.601의 밴드별 가중치 값을 적용하는 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
According to claim 1,
In order to separate and transform the high-resolution aerial orthogonal image of step (2) into a high-resolution grayscale image of the original resolution, a weighted value for each band of ITU-R BT.601 is applied using a low-resolution color image of a large-capacity aerial orthographic image. How to color correction.

제4항에 있어서,
상기 ITU-R BT.601의 밴드별 가중치는
Gray=0299×Red+0587×Green+0114×Blue)를 적용하는 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
5. The method of claim 4,
The weight of each band of the ITU-R BT.601 is
Gray=0299×Red+0587×Green+0114×Blue), a color correction method using a low-resolution color image of a large-capacity aerial orthographic image.

제1항에 있어서,
상기 융합된 영상은 고해상도 회색조영상과 동일한 해상도인 지상해상도 25cm의 컬러영상이며 색상보정된 저해상도 컬러영상과 동일한 색상을 가지는 것에 특징이 있는 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.
According to claim 1,
The fused image is a color image with a ground resolution of 25 cm, which is the same resolution as a high-resolution grayscale image, and a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, characterized in that it has the same color as the color-corrected low-resolution color image.

제1항에 있어서,
상기 (4)단계는 융합기법 BDSD을 이용하여 수행한 것에 특징이 있는대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법.According to claim 1,
The step (4) is a color correction method using a low-resolution color image of a large-capacity aerial orthogonal image, characterized in that it was performed using the fusion technique BDSD.