KR20220088549A - Method of Relative Radiometric Calibration for Multiple Images - Google Patents
Method of Relative Radiometric Calibration for Multiple Images Download PDFInfo
- Publication number
- KR20220088549A KR20220088549A KR1020200178306A KR20200178306A KR20220088549A KR 20220088549 A KR20220088549 A KR 20220088549A KR 1020200178306 A KR1020200178306 A KR 1020200178306A KR 20200178306 A KR20200178306 A KR 20200178306A KR 20220088549 A KR20220088549 A KR 20220088549A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- brightness value
- conversion
- counterpart
- reference image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 다중 영상 상대방사보정 방법으로서, 수십 여장 이상으로 구성된 항공 영상 등에 대하여 영상쌍 별 대응점을 이용하여 다중 영상의 상대방사보정(Relative Radiometric Calibration)을 수행하기 위한 방안을 제시한다.The present invention proposes a method for performing Relative Radiometric Calibration of multiple images by using corresponding points for each image pair with respect to an aerial image composed of several dozen or more as a multi-image counterpart calibration method.
Description
본 발명은 다중 영상 상대방사보정 방법에 관한 것으로서, 보다 상세하게는 수십 여장 이상으로 구성된 항공 영상 등에 대하여 영상쌍 별 대응점을 이용하여 다중 영상의 상대방사보정(Relative Radiometric Calibration)을 수행하기 위한 방안에 대한 것이다. The present invention relates to a multi-image counterpart calibration method, and more particularly, to a method for performing relative radiometric calibration of multiple images by using corresponding points for each image pair with respect to an aerial image composed of dozens or more. it is about
무인 항공기의 경우, 수시촬영이 가능하다는 큰 장점이 있으며 최근 국내외 현업으로의 적용 필요성이 증가되고 있다. 이와 관련하여, 광역지역에 대한 수시 모니터링 및 시계열 분석 등의 시도가 진행되고 있다.In the case of an unmanned aerial vehicle, it has a great advantage of being able to shoot at any time, and the need for application to domestic and foreign businesses is increasing recently. In this regard, attempts such as occasional monitoring and time series analysis for a wide area are in progress.
대면적 무인 항공기가 촬영한 영상 처리를 위해, 영상 간 화소값의 차이를 최소화하는 방사보정이 선행되어야 한다. 방사보정 기술은 절대방사보정 기술과 상대방사보정 기술로 구분된다.For image processing taken by a large-area unmanned aerial vehicle, radiation correction to minimize the difference in pixel values between images should be preceded. Radiation compensation technology is divided into absolute radiation compensation technology and counterpart radiation compensation technology.
절대방사보정 기술은 촬영지역 전반에 걸쳐 반사율 패널을 설치하고, 사전에 측정한 반사율 패널의 반사율 및 영상 내 화소값 간의 관계를 따라 보정하는 방식을 사용한다. 이 방식은 영상 내 지형지물의 절대적 반사특성을 추정할 수 있으나, 작업과정의 복잡성으로 인해 수시 모니터링이 어렵다는 단점이 있다. 또한, 지역 전반에 걸쳐 반사율 패널을 설치해야 된다는 한계점이 있다. Absolute radiation correction technology uses a method to install a reflectance panel throughout the shooting area and correct it according to the relationship between the reflectance of the reflectance panel measured in advance and the pixel values in the image. Although this method can estimate the absolute reflection characteristics of features in the image, it has the disadvantage of being difficult to monitor at any time due to the complexity of the work process. In addition, there is a limitation in that the reflectance panel must be installed throughout the area.
기존의 상대방사보정 기술은 주로 방사보정 모델에 초점을 두어 개발되어, 모델을 기반으로 추정된 상대방사보정 계수를 영상 간 선형 관계를 따라 보정하는 방식을 사용한다. 이 방식은 인접영상 간 화소값 차이는 작을 수 있으나, 영상에 방사보정을 순차적으로 적용하는 과정에서 비행경로를 따라 화소값 차이가 점차 증가하게 된다. 결과적으로, 처음영상과 마지막영상 간의 누적오차는 극대화되어 나타나는 단점이 있다. Existing counterpart correction technology is mainly developed by focusing on the radiation correction model, and uses a method of correcting the counterpart correction coefficient estimated based on the model according to a linear relationship between images. In this method, the pixel value difference between adjacent images may be small, but the pixel value difference gradually increases along the flight path in the process of sequentially applying the radiation correction to the images. As a result, the accumulated error between the first image and the last image is maximized and has a disadvantage.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하고자 하는 것으로서, 영상쌍별 대응점 및 방사보정 최단경로를 산출하여 상대방사보정을 적용할 수 있는 방안을 제시하고자 한다.The present invention intends to solve the problems of the prior art as described above, and proposes a method for applying the counterpart correction by calculating the corresponding point for each image pair and the shortest path for radial correction.
상기 기술적 과제를 달성하고자 본 발명에 따른 다중 영상 상대방사보정 방법의 일실시예는, 획득된 항공 영상의 다중 영상 중에서 기준 영상을 선정하는 기준 영상 선정 단계; 상기 다중 영상 간의 영상쌍별로 대응점을 추출하는 대응점 추출 단계; 추출된 대응점으로부터 상기 다중 영상 간의 연결 관계를 산출하는 연결 관계 산출 단계; 산출된 연결 관계를 기초로 각각의 변환대상영상에 대하여 변환대상영상과 상기 기준 영상 간의 최단 경로를 선정하는 최단 경로 선정 단계; 선정된 최단 경로를 기초로 영상쌍별의 밝기값에 대한 변환관계를 판단하고, 상기 변환대상영상과 상기 기준 영상 간의 밝기값에 대한 변환관계를 판단하는 밝기값 변환 관계 판단 단계; 및 상기 변환대상영상과 상기 기준 영산 간의 밝기값에 대한 변환관계를 기초로 상기 변환대상영상의 밝기값을 변환하는 밝기값 변환 단계를 포함할 수 있다.In order to achieve the above technical problem, an embodiment of a method for compensating a multi-image counterpart according to the present invention includes: a reference image selection step of selecting a reference image from among multiple images of an acquired aerial image; a corresponding point extraction step of extracting corresponding points for each image pair between the multiple images; a connection relationship calculation step of calculating a connection relationship between the multiple images from the extracted corresponding points; a shortest path selection step of selecting a shortest path between the conversion target image and the reference image for each conversion target image based on the calculated connection relationship; a brightness value conversion relationship determination step of determining a conversion relationship for a brightness value of each image pair based on the selected shortest path, and determining a conversion relationship for a brightness value between the conversion target image and the reference image; and a brightness value conversion step of converting a brightness value of the conversion target image based on a conversion relationship between the conversion target image and the reference luminance value.
일례로서, 상기 기준 영상 선정 단계는, 상기 다중 영상 중에서 공간적으로 중심에 위치된 영상을 기준 영상으로 선정하거나 지상에 설치된 반사율판을 촬영한 영상을 기준 영상으로 선정할 수 있다.As an example, in the selection of the reference image, an image spatially located in the center of the multiple images may be selected as a reference image or an image obtained by photographing a reflectance plate installed on the ground may be selected as the reference image.
바람직하게는 상기 대응점 추출 단계는, 상기 다중 영상에서 영상범위가 중복되는 영상끼리 매칭시켜 영상쌍으로 구분하여 추출하고, 상기 영상쌍별로 영상 내 특징점을 매칭하여 대응점을 추출할 수 있다.Preferably, in the extracting of the corresponding points, the images having overlapping image ranges in the multiple images are matched to be separated into image pairs and extracted, and the corresponding points are extracted by matching feature points in the image for each image pair.
나아가서 상기 연결 관계 산출 단계는, 상기 다중 영상 각각을 노드로 설정하고, 상기 영상쌍별 대응점을 기초로 노드 간의 링크를 결정하여 상기 다중 영상 간의 연결 관계를 산출할 수 있다.Furthermore, in the calculating of the connection relationship, each of the multiple images may be set as a node, and a link between the nodes may be determined based on a corresponding point for each image pair to calculate a connection relationship between the multiple images.
또한 상기 최단 경로 선정 단계는, 상기 기준 영상에 해당되는 노드에서 변환대상영상에 해당되는 노드까지의 가중치 합이 최소화되는 경로를 최단 경로로 결정할 수 있다.Also, in the step of selecting the shortest path, a path in which the sum of weights from the node corresponding to the reference image to the node corresponding to the conversion target image is minimized may be determined as the shortest path.
일례로서, 상기 최단 경로 선정 단계에서, 상기 가중치는, 대응점의 개수를 기초로 설정될 수 있다.As an example, in the step of selecting the shortest path, the weight may be set based on the number of corresponding points.
일례로서, 상기 밝기값 변환 관계 판단 단계는, 상기 최단경로에 위치한 영상쌍별로 하기 [식 1]과 [식 2]의 영상 간 밝기값 변환관계식을 통해 대응점 수 i개만큼의 관계식을 수립하고, 최소제곱법을 통해 두 영상 간 상대방사보정 계수인 게인(gain)과 오프셋(offset)을 추정하며,As an example, in the step of determining the relation of the brightness value conversion, for each image pair located in the shortest path, the relational expression as many as i corresponding points is established through the brightness value conversion relation between the images of the following [Equation 1] and [Equation 2], Estimate the gain and offset, which are the counterpart correction coefficients between the two images, through the least squares method,
여기서 
또한 상기 밝기값 변환 단계는, 하기 [식 3]의 영상 밝기값 변환식을 기초로 변환대상영상에 대한 밝기값을 변환하며,In addition, the brightness value conversion step converts the brightness value of the conversion target image based on the image brightness value conversion equation of [Equation 3] below,
여기서, 
이와 같은 본 발명에 의하면, 변환대상영상과 기준영상 간의 최단경로 산정을 통해 기준영상에서부터 변환대상영상까지의 상대방사보정을 최소화함으로써, 방사보정 성능을 최대한 유지할 수 있다. According to the present invention as described above, by calculating the shortest path between the conversion target image and the reference image, by minimizing the relative angle correction from the reference image to the conversion target image, it is possible to maintain the radiation correction performance as much as possible.
또한, 대응점을 통해 자동으로 상대방사보정을 수행하므로 작업과정의 복잡성 간소화가 가능하고, 상황에 따라 지역 전반에 걸친 반사율 패널 설치하지 않아도 처리가 가능하게 된다.In addition, it is possible to simplify the complexity of the work process by automatically performing counter-compensation through the corresponding point, and it is possible to process without installing a reflectance panel throughout the area depending on the situation.
도 1은 본 발명에 따른 다중 영상 상대방사보정 시스템의 개략적인 구성도를 도시한다.
도 2는 본 발명에 따른 다중 영상 상대방사보정 장치의 일실시예에 대한 구성도를 도시한다.
도 3은 본 발명에 따른 다중 영상 상대방사보정 방법의 일실시예에 대한 구성도를 도시한다.
도 4는 본 발명에 따른 다중 영상 상대방사보정 방법을 통해 다중 영상을 보정하는 일례를 도시한다.1 shows a schematic configuration diagram of a multi-image counterpart compensation system according to the present invention.
2 is a block diagram of an embodiment of a multi-image counterpart compensation apparatus according to the present invention.
3 is a block diagram of an embodiment of a multi-image counterpart compensation method according to the present invention.
4 shows an example of correcting multiple images through the multi-image counterpart correction method according to the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.In order to explain the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, preferred embodiments of the present invention will be exemplified below and will be described with reference to them.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.First, the terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention, and the singular expression may include a plural expression unless the context clearly indicates otherwise. In addition, in this application, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or a combination thereof described in the specification exists, but one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
본 발명은 수십 여장 이상으로 구성된 항공 영상 등에 대하여 영상쌍 별 대응점을 이용하여 다중 영상의 상대방사보정(Relative Radiometric Calibration)을 수행하기 위한 다중 영상 상대방사보정 방법을 제시한다.The present invention proposes a multi-image counterpart calibration method for performing Relative Radiometric Calibration of multiple images by using corresponding points for each image pair with respect to an aerial image composed of several dozen or more images.
도 1은 본 발명에 따른 다중 영상 상대방사보정 시스템의 개략적인 구성도를 도시한다.1 shows a schematic configuration diagram of a multi-image counterpart compensation system according to the present invention.
항공기(10)는 지상(50)을 항공 촬영하여 촬영 영상을 다중 영상 상대방사보정 장치(100)로 제공한다.The
여기서 항공기(10)는 일정 이상의 고도를 설정된 경로를 따라 비행하면서 그에 대응되는 지표면을 연속적으로 촬영하여 다중 영상을 생성하는데, 바람직하게는 무인 항공기가 기설정된 비행경로에 따른 비행을 하면서 지면표에 대한 연속적인 다중 영상을 촬영할 수 있다.Here, the
다중 영상 상대방사보정 장치(100)는 항공기(10)가 촬영한 항공 영상을 제공받을 수 있는데, 항공기(10)로부터 실시간 연속 촬영된 다중 영상을 직접 전송받을 수도 있고 또는 항공기(10)가 촬영한 영상을 보관하는 서버로부터 특정 지역에 대한 다중 영상을 제공받을 수도 있다.The multi-image
다중 영상 상대방사보정 장치(100)는 대면적 항공영상에 대한 다중 영상 상태방사보정을 통해 변환대상영상에 대한 밝기값의 보정을 수행한다.The multi-image
도 2는 본 발명에 따른 다중 영상 상대방사보정 장치의 일실시예에 대한 구성도를 도시한다.2 is a block diagram of an embodiment of a multi-image counterpart compensation apparatus according to the present invention.
다중 영상 상대방사보정 장치(100)는 다중 영상 획득부(110), 영상 판단부(130), 영상 보정부(150) 등을 포함할 수 있다.The multi-image
다중 영상 획득부(110)는 무인항공기 등이 촬영한 다중 영상을 획득한다.The multiple
영상 판단부(130)는 획득된 다중 영상에서 기준 영상을 선정하고, 다중 영상에서 중복되는 영상끼리 매칭시켜 영상쌍을 추출하며, 영상쌍별로 특징점을 매칭하여 대응점을 추출하여 이를 기초로 다중 영상 간의 연결 관계를 산출한다.The
그리고 영상 판단부(130)는 산출된 연결 관계를 기초로 각각의 변환대상영상에 대하여 기준 영상 간의 최단 경로를 선정하고 이를 기초로 영상쌍별의 밝기값에 대한 변환관계를 판단한다.And the
다음으로 영상 보정부(150)는 영상 판단부(130)에서 산출된 변환대상영상과 기준 영산 간의 밝기값에 대한 변환관계를 기초로 각각의 환대상영상에 대한 밝기값을 변환하여 보정된 영상을 생성한다.Next, the
본 발명에서는 상기의 다중 영상 상대방사보정 장치를 통한 상대방사보정 방법을 제시하는데, 이하에서는 본 발명에 대한 실시예를 통해 다중 영상 상대방사보정 방법에 대하여 살펴보기로 한다.The present invention proposes a method for compensating a counterpart company through the multi-image counterpart correction apparatus. Hereinafter, a multi-image counterpart correction method will be described through an embodiment of the present invention.
도 3은 본 발명에 따른 다중 영상 상대방사보정 방법의 일실시예에 대한 구성도를 도시한다.3 is a block diagram of an embodiment of a multi-image counterpart compensation method according to the present invention.
본 발명에 따른 다중 영상 상대방사보정 방법은 개략적으로 다중 영상을 획득하는 다중 영상 획득 단계(S110); 획득된 항공 영상의 다중 영상 중에서 기준 영상을 선정하는 기준 영상 선정 단계(S120); 상기 다중 영상 간의 영상쌍별로 대응점을 추출하는 대응점 추출 단계(S130); 추출된 대응점으로부터 상기 다중 영상 간의 연결 관계를 산출하는 연결 관계 산출 단계(S140); 산출된 연결 관계를 기초로 각 변환대상영상에 대하여 변환대상영상과 상기 기준 영상 간의 최단 경로를 선정하는 최단 경로 선정 단계(S150); 선정된 최단 경로를 기초로 영상쌍별의 밝기값에 대한 변환관계를 판단하고, 상기 변환대상영상과 상기 기준 영상 간의 밝기값에 대한 변환관계를 판단하는 밝기값 변환 관계 판단 단계(S160); 상기 변환대상영상과 상기 기준 영산 간의 밝기값에 대한 변환관계를 기초로 상기 변환대상영상의 밝기값을 변환하는 밝기값 변환 단계(S170); 및 밝기값 변환의 다중 영상에 대한 상대방사보정을 통해 대면적 항공 영상을 획득하는 보정 영상 획득 단계(S180)를 포함할 수 있다.A multi-image counterpart compensation method according to the present invention includes: a multi-image acquisition step (S110) of schematically acquiring multiple images; a reference image selection step of selecting a reference image from among the multiple images of the obtained aerial image (S120); Corresponding point extraction step of extracting corresponding points for each image pair between the multiple images (S130); a connection relationship calculation step of calculating a connection relationship between the multiple images from the extracted corresponding points (S140); Shortest path selection step of selecting a shortest path between the conversion target image and the reference image for each conversion target image based on the calculated connection relationship (S150); A brightness value conversion relationship determination step (S160) of determining a conversion relationship for a brightness value of each image pair based on the selected shortest path, and determining a conversion relationship for a brightness value between the conversion target image and the reference image; a brightness value conversion step (S170) of converting a brightness value of the conversion target image based on a conversion relationship for a brightness value between the conversion target image and the reference Youngsan; And it may include a corrected image acquisition step (S180) of acquiring a large-area aerial image through the counterpart correction for the multiple images of the brightness value conversion.
이하에서는 각 단계에 대하여 좀더 자세히 살펴보기로 한다.Hereinafter, each step will be described in more detail.
다중 영상 획득 단계(S110)에서는 다중 영상 상대방사보정 장치가 무인 항공기 등이 설정된 경로를 따라 비행하면서 촬영한 대면적 항공 영상에 대한 다중 영상을 획득한다.In the multi-image acquisition step (S110), the multi-image counterpart compensator acquires multiple images for a large-area aerial image captured while flying along a route in which an unmanned aerial vehicle or the like is set.
기준 영상 선정 단계(S120)에서는 획득된 다중 영상 중에서 기준 영상을 선정하는데, 여기서 상기 기준 영상은 변환대상영상의 밝기값 변환의 기준이 된다. In the reference image selection step ( S120 ), a reference image is selected from among the acquired multiple images, where the reference image becomes a reference for converting the brightness value of the conversion target image.
상기 기준 영상의 선정의 일례로서, 공간적으로 배치된 다중 영상의 중심에 해당하는 영상을 기준 영상으로 선정할 수도 있고, 또는 지상에 설치된 반사율 판을 촬영한 영상이 있을 경우 이를 기준 영상으로 선정할 수도 있다.As an example of selection of the reference image, an image corresponding to the center of spatially arranged multiple images may be selected as the reference image, or if there is an image obtained by photographing a reflectance plate installed on the ground, it may be selected as the reference image have.
기준 영상이 선정되면, 대응점을 추출하는데, 대응점 추출 단계(S130)는, 변환대상의 다중영상 간 대응점을 추출하는 과정으로서 영상범위가 중복되는 영상끼리 매칭시켜 영상쌍으로 구분하고 영상쌍 내의 특징점을 매칭하여 매칭된 특징점을 대응점으로 추출한다.When a reference image is selected, a corresponding point is extracted, and the corresponding point extraction step (S130) is a process of extracting a corresponding point between multiple images of a conversion target. By matching, the matched feature point is extracted as a corresponding point.
여기서 추출된 대응점은 영상 쌍에서 식별되는 지리적 동일 지점을 가리키며, 영상 간 밝기값 차이를 확인할 수 있다. 이를 근거로, 이후 밝기값 변환 단계(S170)에서 대응점의 밝기값 정보를 활용한 반사율 변환을 수행하게 된다. Here, the extracted corresponding point indicates the same geographical point identified in the image pair, and the difference in brightness values between the images can be confirmed. Based on this, in the subsequent brightness value conversion step ( S170 ), reflectance conversion using brightness value information of the corresponding point is performed.
그리고 무인 항공기 촬영한 다중 영상은, 일정한 영상중복도에 따라 수많은 영상쌍의 조합으로 분류될 수 있다. 여기서 변환대상영상과 기준영상 간의 최단경로를 산출하기 위해, 영상 간의 연결관계 정의를 선행하게 된다.In addition, multiple images photographed by an unmanned aerial vehicle may be classified into combinations of numerous image pairs according to a certain image redundancy. Here, in order to calculate the shortest path between the conversion target image and the reference image, the definition of the connection relationship between the images is preceded.
연결 관계 산출 단계(S140)는 영상 망(Image network)에 대해 영상을 노드(Node), 영상 간 연결관계를 링크(Link)로 보았을 때, 두 노드 사이의 링크를 정의함으로써 연결관계를 산출할 수 있다. 영상쌍별 대응점 유무를 근거로 링크를 결정하며, 이는 변환대상영상과 기준영상 간의 최단경로 산출에 기반자료로 사용할 수 있다.In the connection relationship calculation step (S140), when an image is viewed as a node and a connection relationship between images as a link for an image network, the connection relationship can be calculated by defining a link between two nodes. have. Links are determined based on the presence or absence of corresponding points for each image pair, which can be used as a basis for calculating the shortest path between the conversion target image and the reference image.
다음으로 최단 경로 선정 단계(S150)는, 변환대상영상과 기준영상 간의 최단경로를 산출하는 과정으로서, 최단경로는 기준영상 노드에서 변환대상영상 노드까지의 가중치 합을 최소화하는 경로로 결정된다. Next, the shortest path selection step S150 is a process of calculating the shortest path between the conversion target image and the reference image, and the shortest path is determined as a path that minimizes the sum of weights from the reference image node to the conversion target image node.
앞서 상기 대응점 추출 단계를 통해 추출된 대응점의 수량을 바탕으로, 일정 수량 이상일 경우 가중치 1을 산정하고, 일정 수량에 미달하는 경우를 무한 가중치로 산정한다. Based on the number of corresponding points extracted through the previously extracted corresponding point extraction step, weight 1 is calculated when the number is greater than or equal to a certain amount, and weight 1 is calculated when the number is less than the predetermined amount as an infinite weight.
그리고 산정된 가중치를 따라 경로를 탐색하며 최단경로가 두개 이상일 경우, 대응점의 개수가 더 많은 경로를 최단 경로로 결정하게 된다. 이러한 과정을 통해 기준영상에서부터 변환대상영상까지의 상대방사보정 횟수를 줄임으로써 오류 누적을 최소화하게 된다. Then, the path is searched according to the calculated weight, and when there are two or more shortest paths, the path with more corresponding points is determined as the shortest path. Through this process, the accumulation of errors is minimized by reducing the number of counterpart corrections from the reference image to the conversion target image.
밝기값 변환관계 판단 단계(S160)는 변환대상영상과 기준영상 간에 선정된 최단경로에 위치한 영상쌍별 밝기값 변환관계를 산출하고 아울러 변환대상영상과 기준영상 간의 밝기값 변환관계를 산출한다.The brightness value conversion relationship determination step ( S160 ) calculates a brightness value conversion relationship for each image pair located in the shortest path selected between the conversion target image and the reference image, and also calculates a brightness value conversion relationship between the conversion target image and the reference image.
이는 하기 [식 1]과 [식 2]의 영상 간 밝기값 변환관계식을 통해 대응점 수 i개만큼의 관계식을 수립하고, 최소제곱법을 통해 두 영상 간 상대방사보정 계수인 게인(gain)과 오프셋(offset)을 추정하게 된다. This is to establish a relational expression as many as i corresponding points through the brightness value conversion relation between the images in [Equation 1] and [Equation 2] below, and the gain and offset, which are the counterpart correction coefficients between the two images, through the least squares method. (offset) is estimated.
상기 과정을 최단경로에 위치한 영상쌍별로 반복수행하여, 최종적으로 변환대상영상과 기준영상 간의 밝기값 변환관계를 산출할 수 있게 된다.By repeating the above process for each image pair located in the shortest path, it is possible to finally calculate the brightness value conversion relationship between the conversion target image and the reference image.
여기서 
그리고 밝기값 변환 단계(S170)에서는 상기 밝기값 변환관계 판단 단계(S160)를 통해 획득된 변환대상영상과 기준 영상 간의 밝기값 관계를 기초로 변환대상영상의 밝기값을 변환하게 된다. In the brightness value conversion step (S170), the brightness value of the conversion target image is converted based on the brightness value relationship between the conversion target image and the reference image obtained through the brightness value conversion relationship determination step (S160).
상기 [식 1]과 유사한 하기 [식 3]의 영상 밝기값 변환식을 기초로 변환대상영상에 대한 밝기값을 변환하게 되며, 이를 통해 다중 영상에 대한 상대방사보정이 수행된다.The brightness value of the conversion target image is converted based on the image brightness value conversion equation of [Equation 3], which is similar to the above [Equation 1], and through this, the counterpart correction for multiple images is performed.
여기서, 
상기와 같은 과정에 따른 밝기값 변환의 다중 영상에 대한 상대방사보정을 통해 보정된 대면적 항공 영상을 획득(S180)할 수 있게 된다.It is possible to obtain a corrected large-area aerial image through the counterpart correction for the multiple images of the brightness value conversion according to the above process (S180).
도 4는 본 발명에 따른 다중 영상 상대방사보정 방법을 통해 다중 영상을 보정하는 일례를 도시한다.4 shows an example of correcting multiple images through the multi-image counterpart correction method according to the present invention.
상기 도 4의 (a)는 무인 항공기를 통해 획득한 15장의 다중 원본영상을 나타내며, 무인 항공기는 상기 도 4의 (a)에서 화살표의 경로를 따라 비행하여 다중 원본영상을 획득하였다. Fig. 4(a) shows 15 multiple original images acquired through the unmanned aerial vehicle, and the unmanned aerial vehicle flew along the path of the arrow in FIG. 4(a) to obtain multiple original images.
상기 도 4의 (a)에서 기준 영상 S를 중심으로 변환대상영상과 기준영상 간 1단 변환관계는 녹색 연결선으로, 2단 변환관계는 노란색 연결선은 표시하였다. 상기 도 4의 (a) 하단에 나타난 중첩된 영상은 상대방사보정을 수행하기 전 다중 영상 간의 밝기값이 상이한 것을 보여준다.In (a) of FIG. 4, a one-stage transformation relationship between a conversion target image and a reference image is indicated by a green connecting line, and a yellow connecting line is indicated for a two-stage transformation relation with the reference image S as the center. The superimposed image shown at the bottom of (a) of FIG. 4 shows that the brightness values between the multiple images are different before performing the counterpart correction.
이러한 상기 도 4의 (a)에 대한 다중 영상을 본 발명에 따라 상대방사보정하여 상기 도 4의 (b)에 따른 보정된 영상이 획득되었다. The corrected image according to (b) of FIG. 4 was obtained by correcting the multiple images of FIG. 4(a) according to the present invention.
상기 도 4의 (b)는 상기 도 4의 (a)에 도시된 각각의 다중 영상을 변환대상영상으로 하여 상대방사보정을 수행한 결과로서, 상기 도 4의 (b) 하단에 나타난 중첩된 영상에서 보는 바와 같이 본 발명에 따른 상대방사보정을 수행한 후 밝기값 차이가 최소화된 것을 보여준다.4(b) is a result of performing counterpart camera correction using each of the multiple images shown in FIG. 4(a) as a conversion target image, and the overlapped image shown at the bottom of FIG. As shown in Fig. 1, it is shown that the difference in brightness values is minimized after performing the counterpart compensation according to the present invention.
이와 같은 본 발명을 통해 변환대상영상과 기준영상 간의 최단경로 산정을 통해 기준영상에서부터 변환대상영상까지의 상대방사보정을 최소화함으로써, 방사보정 성능을 최대한 유지할 수 있다. Through the present invention as described above, by calculating the shortest path between the conversion target image and the reference image, by minimizing the counterpart correction from the reference image to the conversion target image, it is possible to maintain the radiation correction performance as much as possible.
특히, 대응점을 통해 자동으로 상대방사보정을 수행하므로 작업과정의 복잡성 간소화가 가능하고, 상황에 따라 지역 전반에 걸친 반사율 패널 설치하지 않아도 처리가 가능하게 된다.In particular, it is possible to simplify the complexity of the work process because it automatically performs counter-compensation through the corresponding points, and depending on the situation, it is possible to process without installing a reflectance panel throughout the area.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100 : 다중 영상 상대방사보정 장치,
110 : 다중 영상 획득부,
130 : 다중 영상 판단부,
150 : 다중 영상 보정부.100: multi-image counterpart compensation device,
110: multiple image acquisition unit;
130: multiple image determination unit;
150: multiple image correction unit.
Claims (8)
상기 다중 영상 간의 영상쌍별로 대응점을 추출하는 대응점 추출 단계;
추출된 대응점으로부터 상기 다중 영상 간의 연결 관계를 산출하는 연결 관계 산출 단계;
산출된 연결 관계를 기초로 각각의 변환대상영상에 대하여 변환대상영상과 상기 기준 영상 간의 최단 경로를 선정하는 최단 경로 선정 단계;
선정된 최단 경로를 기초로 영상쌍별의 밝기값에 대한 변환관계를 판단하고, 상기 변환대상영상과 상기 기준 영상 간의 밝기값에 대한 변환관계를 판단하는 밝기값 변환 관계 판단 단계; 및
상기 변환대상영상과 상기 기준 영산 간의 밝기값에 대한 변환관계를 기초로 상기 변환대상영상의 밝기값을 변환하는 밝기값 변환 단계를 포함하는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
a reference image selection step of selecting a reference image from among multiple images of the acquired aerial image;
a corresponding point extraction step of extracting corresponding points for each image pair between the multiple images;
a connection relationship calculation step of calculating a connection relationship between the multiple images from the extracted corresponding points;
a shortest path selection step of selecting a shortest path between the conversion target image and the reference image for each conversion target image based on the calculated connection relationship;
a brightness value conversion relationship determination step of determining a conversion relationship for a brightness value of each image pair based on the selected shortest path, and determining a conversion relationship for a brightness value between the conversion target image and the reference image; and
and a brightness value conversion step of converting a brightness value of the conversion target image based on a conversion relationship for a brightness value between the conversion target image and the reference image.
상기 기준 영상 선정 단계는,
상기 다중 영상 중에서 공간적으로 중심에 위치된 영상을 기준 영상으로 선정하거나 지상에 설치된 반사율판을 촬영한 영상을 기준 영상으로 선정하는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
The method of claim 1,
The reference image selection step is,
Multi-image counterpart compensation method, characterized in that selecting an image spatially centered among the multiple images as a reference image or selecting an image obtained by photographing a reflectance plate installed on the ground as a reference image.
상기 대응점 추출 단계는,
상기 다중 영상에서 영상범위가 중복되는 영상끼리 매칭시켜 영상쌍으로 구분하여 추출하고, 상기 영상쌍별로 영상 내 특징점을 매칭하여 대응점을 추출하는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
The method of claim 1,
The corresponding point extraction step is,
Multiple image counterpart compensation method, characterized in that by matching the images with overlapping image ranges in the multiple images, separating them into image pairs and extracting them, and extracting corresponding points by matching feature points in the image for each image pair.
상기 연결 관계 산출 단계는,
상기 다중 영상 각각을 노드로 설정하고, 상기 영상쌍별 대응점을 기초로 노드 간의 링크를 결정하여 상기 다중 영상 간의 연결 관계를 산출하는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
The method of claim 1,
The step of calculating the connection relationship,
Each of the multiple images is set as a node, and a link between nodes is determined based on a corresponding point for each image pair to calculate a connection relationship between the multiple images.
상기 최단 경로 선정 단계는,
상기 기준 영상에 해당되는 노드에서 변환대상영상에 해당되는 노드까지의 가중치 합이 최소화되는 경로를 최단 경로로 결정하는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
5. The method of claim 4,
The shortest path selection step is,
and determining, as the shortest path, a path through which the sum of weights from the node corresponding to the reference image to the node corresponding to the conversion target image is minimized.
상기 최단 경로 선정 단계에서,
상기 가중치는, 대응점의 개수를 기초로 설정되는 것을 특징으로 하는 다중 영상 상대방사보정 방법.
6. The method of claim 5,
In the shortest path selection step,
wherein the weight is set based on the number of corresponding points.
상기 밝기값 변환 관계 판단 단계는,
상기 최단경로에 위치한 영상쌍별로 하기 [식 1]과 [식 2]의 영상 간 밝기값 변환관계식을 통해 대응점 수 i개만큼의 관계식을 수립하고, 최소제곱법을 통해 두 영상 간 상대방사보정 계수인 게인(gain)과 오프셋(offset)을 추정하며,
여기서
6. The method of claim 5,
The brightness value conversion relationship determination step includes:
For each image pair located in the shortest path, a relational expression as many as i corresponding points is established through the brightness value conversion relation between images of [Equation 1] and [Equation 2] below, and the counterpart correction coefficient between the two images through the least-squares method Estimate the gain and offset,
here
상기 밝기값 변환 단계는,
하기 [식 3]의 영상 밝기값 변환식을 기초로 변환대상영상에 대한 밝기값을 변환하며,
여기서,
6. The method of claim 5,
The brightness value conversion step is
The brightness value of the conversion target image is converted based on the image brightness value conversion equation of [Equation 3] below,
here,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178306A KR102428839B1 (en) | 2020-12-18 | 2020-12-18 | Method of Relative Radiometric Calibration for Multiple Images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178306A KR102428839B1 (en) | 2020-12-18 | 2020-12-18 | Method of Relative Radiometric Calibration for Multiple Images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220088549A true KR20220088549A (en) | 2022-06-28 |
| KR102428839B1 KR102428839B1 (en) | 2022-08-04 |
Family
ID=82268205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200178306A KR102428839B1 (en) | 2020-12-18 | 2020-12-18 | Method of Relative Radiometric Calibration for Multiple Images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102428839B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525770A (en) * | 2004-02-27 | 2007-09-06 | インターグラフ ソフトウェアー テクノロジーズ カンパニー | Technology to form a single image from multiple overlapping images |
| KR101837403B1 (en) * | 2016-12-13 | 2018-04-19 | 국방과학연구소 | Method and Apparatus for Fast mosaicking of Unmanned Aerial Vehicle Images |
-
2020
- 2020-12-18 KR KR1020200178306A patent/KR102428839B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525770A (en) * | 2004-02-27 | 2007-09-06 | インターグラフ ソフトウェアー テクノロジーズ カンパニー | Technology to form a single image from multiple overlapping images |
| KR101837403B1 (en) * | 2016-12-13 | 2018-04-19 | 국방과학연구소 | Method and Apparatus for Fast mosaicking of Unmanned Aerial Vehicle Images |
Non-Patent Citations (1)
| Title |
|---|
| 국토위성정보의 수집·활용시스템 기본설계 및 활용 기초기술 개발(1차년도), 용역사업 결과보고서 제3권 활용 기초기술, 주식회사 쎄트렉아이·인하대학교 산학협력단 컨소시엄, 2018.03(2018.03.31.) 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102428839B1 (en) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017080102A1 (en) | Flying device, flying control system and method | |
| KR100916484B1 (en) | Method for auto white balance | |
| US10062148B2 (en) | Method for converting a color filter array | |
| WO2019163454A1 (en) | Image processing device, flying object, and program | |
| KR101558467B1 (en) | System for revising coordinate in the numerical map according to gps receiver | |
| KR20200048615A (en) | Realtime inspecting drone for solar photovoltaic power station basen on machine learning | |
| CN107169933B (en) | Edge reflection pixel correction method based on TOF depth camera | |
| KR20210024146A (en) | Create composite images from 3D point clouds | |
| CN113052151B (en) | Unmanned aerial vehicle automatic landing guiding method based on computer vision | |
| CN107341767B (en) | Image correction method and device | |
| KR102426785B1 (en) | Method and apparatus for Geometric Correction of Satellite Image Strips | |
| CN111131723A (en) | Ceramic tile image acquisition method and system | |
| KR102428839B1 (en) | Method of Relative Radiometric Calibration for Multiple Images | |
| WO2023016468A1 (en) | De-pixelating method, electronic device and storage medium | |
| CN111028187A (en) | Light ray self-adaptive airborne double-light image reconnaissance device and method | |
| CN112243584A (en) | Image color correction method, shooting device and image color correction system | |
| CN103632360B (en) | The joining method of unmanned plane aerial photography image | |
| US7834886B2 (en) | Methods and apparatus for dynamic correction of data for non-uniformity | |
| KR102553797B1 (en) | Multi-band image generation system and method for optical satellite imagery using deep-learning network | |
| KR101737426B1 (en) | Correction of radiometric artefacts in imagery acquired from satellite or aircraft platforms using the minimum noise fraction transform | |
| JP2020173626A (en) | Satellite characteristic learning device, satellite characteristic determination device, and observation device | |
| Tommaselli et al. | Refining the geometric calibration of a hiperspectral frame camera with preliminary bands coregistration | |
| CN108896019A (en) | Aerophotography stereoblock adjustment method based on aerial survey of unmanned aerial vehicle data | |
| US9160947B2 (en) | Defective pixel correction apparatus and method | |
| US20230332803A1 (en) | Method and system for determining a state of a solar-thermal parabolic trough power plant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |