KR102441675B1 - Method and system for synthesising satellite images - Google Patents
Method and system for synthesising satellite images Download PDFInfo
- Publication number
- KR102441675B1 KR102441675B1 KR1020220023394A KR20220023394A KR102441675B1 KR 102441675 B1 KR102441675 B1 KR 102441675B1 KR 1020220023394 A KR1020220023394 A KR 1020220023394A KR 20220023394 A KR20220023394 A KR 20220023394A KR 102441675 B1 KR102441675 B1 KR 102441675B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- satellite
- spatial resolution
- resolution
- training
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
Description
본 발명은 다른 종류의 위성에 촬영된 영상을 합성하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for synthesizing images captured by different types of satellites.
인공위성은 사용목적 및 용도 등에 따라 다양한 크기로 개발되고 있다. 보다 구체적으로 인공위성은, 크기와 중량에 따라 대형 위성(Large Satellite), 중형 위성(Medium Satellite), 소형 위성(Mini Satellite), 마이크로 위성(Micro Satellite), 나노 위성(Nano Satellite), 피코 위성(Pico Satellite), 펨토 위성(Femto Satellite) 등으로 분류될 수 있다. 또한 위의 명칭과 별도로 캔샛(CANSAT) 또는 큐브셋(CUBESAT)이라는 명칭도 종종 사용된다. Artificial satellites are being developed in various sizes depending on the purpose and purpose of use. More specifically, the artificial satellites are, depending on their size and weight, a Large Satellite, a Medium Satellite, a Mini Satellite, a Micro Satellite, a Nano Satellite, and a Pico Satellite. Satellite), a femto satellite, and the like. Also, apart from the above names, the names CANSAT or CUBESAT are often used.
최근에는 개발 기간이 짧고, 제조비용이 저렴한 소형 위성 또는 초소형 위성의 개발이 주목받는 추세이다.Recently, the development of a small satellite or an ultra-small satellite with a short development period and low manufacturing cost is attracting attention.
이러한 소형 위성(또는 초소형 위성)은, 군집 운용을 통해 넓은 지역을 모니터링하는데 주로 활용될 수 있다. 소형 위성은 공간 해상도가 높고, 동일 지역을 촬영하는 주기가 중형 및 대형 위성보다 짧지만, 색의 차이를 구분하는 능력이 중형 및 대형 위성과 비교할 때 떨어진다. These small satellites (or very small satellites) can be mainly used to monitor a large area through cluster operation. Small satellites have high spatial resolution and have a shorter period of photographing the same area than medium and large satellites, but their ability to distinguish color differences is inferior compared to medium and large satellites.
이와 달리, 중형 및 대형 위성은 동일 지역을 촬영하는 주기가 소형 위성보다 길지만, 색의 차이를 구분하는 능력이 소형 위성보다 좋다. On the other hand, medium and large satellites have a longer period of photographing the same area than small satellites, but the ability to distinguish color differences is better than that of small satellites.
도 1과 같이, 서로 다른 종류의 위성(11 및 12)이 특정 지역을 촬영하는 경우, 영상의 질은 위성의 성능에 따라 달라질 수 있다. 본 발명은, 서로 다른 종류의 위성으로부터 촬영된 영상의 장점을 모두 포함하는 위성 영상 합성 방법과, 이를 위한 시스템을 제안한다.As shown in FIG. 1 , when different types of
본 발명의 일 목적은 서로 다른 위성에서 촬영된 영상 각각의 장점을 모두 포함하는 합성 영상을 생성하는 방법 및 시스템을 제공하는 것이다. SUMMARY OF THE INVENTION One object of the present invention is to provide a method and system for generating a composite image including all advantages of images taken from different satellites.
상술한 목적을 달성하기 위하여, 본 발명은 제1공간 해상도로 촬영된 제1위성 영상 및 제2공간 해상도로 촬영된 제2위성 영상을 합성하는 위성 영상의 합성 방법을 제공할 수 있다. 본 발명은 상기 제1 및 제2위성 영상을 딥러닝 모델에 입력하여 합성 영상을 생성하는 단계를 포함하고, 상기 제1공간 해상도는 상기 제2공간 해상도보다 높고, 상기 제1위성 영상의 제1방사 해상도는 상기 제2위성 영상의 제2방사 해상도보다 낮고, 상기 합성 영상은 상기 제1공간 해상도 및 상기 제2방사 해상도로 이루어진 것을 특징으로 하는 위성 영상의 합성 방법을 제공할 수 있다. In order to achieve the above object, the present invention may provide a method for synthesizing a satellite image in which a first satellite image captured at a first spatial resolution and a second satellite image captured at a second spatial resolution are synthesized. The present invention includes generating a synthesized image by inputting the first and second satellite images into a deep learning model, wherein the first spatial resolution is higher than the second spatial resolution, and the first spatial resolution of the first satellite image The radiation resolution may be lower than the second radiation resolution of the second satellite image, and the synthesized image may include the first spatial resolution and the second radiation resolution.
일 실시 예에 있어서, 상기 제1위성 영상은 제1위성으로부터 촬영된 영상이고, 상기 제2위성 영상은 제2위성으로부터 촬영된 영상이고, 상기 제1위성의 특정 지점에 대한 촬영 주기는 상기 제2위성의 상기 특정 지점에 대한 촬영 주기보다 짧을 수 있다. In an embodiment, the first satellite image is an image taken from a first satellite, the second satellite image is an image taken from a second satellite, and the shooting period for a specific point of the first satellite is the second It may be shorter than the photographing period for the specific point of the second satellite.
일 실시 예에 있어서, 상기 딥러닝 모델을 훈련시키는 단계를 더 포함하고, 상기 딥러닝 모델을 훈련시키는 단계는, 제1공간 해상도로 이루어지는 제1샘플 영상을 다운샘플링(downsampling)하여 상기 제1공간 해상도보다 낮은 공간 해상도로 이루어지는 제1학습 영상을 생성하는 단계, 제2공간 해상도로 이루어지는 제2샘플 영상을 다운샘플링(downsampling)하여 상기 제2공간 해상도보다 낮은 공간 해상도로 이루어지는 제2학습 영상을 생성하는 단계 및 상기 제1 및 제2학습 영상, 상기 제1 및 제2샘플 영상 중 적어도 하나를 이용하여, 두 영상을 하나의 영상으로 합성하는 딥러닝 모델을 훈련시키는 단계를 포함할 수 있다.In an embodiment, the method further comprises training the deep learning model, wherein the training of the deep learning model comprises downsampling a first sample image having a first spatial resolution to the first space. Generating a first training image having a spatial resolution lower than the resolution, downsampling a second sample image having a second spatial resolution to generate a second training image having a spatial resolution lower than the second spatial resolution and training a deep learning model that synthesizes two images into one image using at least one of the first and second learning images and the first and second sample images.
일 실시 예에 있어서, 상기 제1샘플 영상의 공간 해상도는 상기 제2 샘플 영상의 공간 해상도보다 높을 수 있다.In an embodiment, the spatial resolution of the first sample image may be higher than that of the second sample image.
일 실시 예에 있어서, 상기 합성 영상을 생성하는 단계에서 활용되는 제1위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 제1학습 영상은 서로 대응되고, 상기 합성 영상을 생성하는 단계에서 활용되는 제2위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 제2학습 영상은 서로 대응되고, 서로 대응되는 상기 제1위성 영상과 상기 제1학습 영상의 공간 해상도는 서로 상이하고, 서로 대응되는 상기 제2위성 영상과 상기 제2학습 영상의 공간 해상도는 서로 상이할 수 있다.In an embodiment, the first satellite image used in the step of generating the synthetic image and the first learning image used in the step of training the deep learning model correspond to each other, and are utilized in the step of generating the synthetic image The second satellite image and the second learning image used in the step of training the deep learning model correspond to each other, and the spatial resolution of the first satellite image and the first learning image corresponding to each other are different, and correspond to each other The spatial resolution of the second satellite image and the second learning image may be different from each other.
일 실시 예에 있어서, 제1학습 영상을 생성하는 단계에서, 제1학습 영상은 제2공간 해상도로 다운샘플링(downsampling)될 수 있다.In an embodiment, in the step of generating the first learning image, the first learning image may be downsampled to a second spatial resolution.
일 실시 예에 있어서, 상기 제1위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대에 대응되는 픽셀값을 포함하고, 상기 제2위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대 및 상기 제1파장대와 다른 제2파장대에 대응되는 픽셀값을 포함하고, 상기 합성 영상을 구성하는 픽셀 각각은 상기 제1 및 제2파장대에 대응되는 픽셀값을 포함할 수 있다.In an embodiment, each of the plurality of pixels constituting the first satellite image includes a pixel value corresponding to a first wavelength band, and each of the plurality of pixels constituting the second satellite image includes the first wavelength band and the second wavelength band. A pixel value corresponding to a second wavelength band different from the first wavelength band may be included, and each pixel constituting the composite image may include a pixel value corresponding to the first and second wavelength bands.
또한, 본 발명은 제1공간 해상도로 촬영된 제1위성 영상을 수신하고, 제2공간 해상도로 촬영된 제2위성 영상을 수신하도록 이루어지는 통신부 및 상기 제1 및 제2위성 영상을 딥러닝 모델에 입력하여 합성 영상을 생성하는 제어부를 포함하고, 상기 제1공간 해상도는 상기 제2공간 해상도보다 높고, 상기 제1위성 영상의 제1방사 해상도는 상기 제2위성 영상의 제2방사 해상도보다 낮고, 상기 합성 영상은 상기 제1공간 해상도 및 상기 제2방사 해상도로 이루어진 것을 특징으로 하는 위성 영상의 합성 시스템을 제공할 수 있다.In addition, the present invention receives a first satellite image photographed at a first spatial resolution, and a communication unit configured to receive a second satellite image photographed at a second spatial resolution, and the first and second satellite images to a deep learning model a control unit for generating a synthesized image by input, wherein the first spatial resolution is higher than the second spatial resolution, and the first radiation resolution of the first satellite image is lower than the second radiation resolution of the second satellite image, The synthesized image may provide a satellite image synthesizing system comprising the first spatial resolution and the second radial resolution.
위에서 살펴본 것과 같이, 본 발명에 따르면, 서로 다른 종류의 위성 영상의 합성을 통해, 각 위성의 장점을 모두 포함하는 영상을 얻을 수 있게 된다. 구체적으로, 본 발명에 따른 위성 영상 합성 방법은 높은 공간 해상도 및 낮은 방사 해상도를 가지는 영상 및 낮은 공간 해상도 및 높은 방사 해상도를 가지는 영상의 합성을 통해, 높은 공간 해상도 및 높은 방사 해상도를 가지는 합성 영상을 제공한다.As described above, according to the present invention, an image including all advantages of each satellite can be obtained by synthesizing different types of satellite images. Specifically, the satellite image synthesis method according to the present invention generates a composite image having high spatial resolution and high radial resolution through synthesizing an image having high spatial resolution and low radial resolution and an image having low spatial resolution and high radial resolution. to provide.
또한, 본 발명에 따르면, 낮은 시간 해상도를 가지는 위성으로부터 촬영된 영상을 높은 시간 해상도를 가지는 위성으로부터 촬영된 복수의 영상과의 합성에 활용함으로써, 높은 공간 해상도 및 높은 방사 해상도를 가지는 영상을 높은 시간 해상도를 가지는 위성의 영상 촬영 주기와 동일한 주기로 수득할 수 있도록 한다.In addition, according to the present invention, by utilizing an image captured from a satellite having a low temporal resolution for synthesizing a plurality of images captured from a satellite having a high temporal resolution, an image having a high spatial resolution and a high radiation resolution can be converted to a high temporal resolution. It is possible to obtain the image in the same period as the image capturing period of the satellite having the resolution.
또한, 본 발명은 서로 다른 파장대의 픽셀값을 포함하는 영상을 합성함으로써, 합성 영상이 표현 가능한 색의 종류를 다양하게 할 수 있다. 합성 영상이 표현 가능한 색의 종류를 다양하게 함으로써, 본 발명은 합성 영상을 통해 분석 가능한 요소의 종류를 다양화할 수 있다.Also, according to the present invention, by synthesizing images including pixel values of different wavelength bands, the types of colors that can be expressed in the synthesized image can be diversified. By diversifying the types of colors that can be expressed in the synthesized image, the present invention can diversify the types of elements that can be analyzed through the synthesized image.
도 1은 서로 다른 위성이 동일한 지역을 촬영하는 모습을 나타내는 개념도이다.
도 2는 본 발명에 따른 영상 합성 시스템을 나타내는 개념도이다.
도 3은 본 발명에 따른 위성 영상 합성 방법을 나타내는 순서도이다.
도 4는 본 발명에 따른 위성 영상 합성 결과를 나타내는 개념도이다.
도 5는 딥러닝 모델 훈련 시 사용되는 영상과 영상 합성 시 사용되는 영상의 차이를 나타내는 개념도이다.1 is a conceptual diagram illustrating a state in which different satellites photograph the same area.
2 is a conceptual diagram illustrating an image synthesis system according to the present invention.
3 is a flowchart illustrating a satellite image synthesis method according to the present invention.
4 is a conceptual diagram illustrating a satellite image synthesis result according to the present invention.
5 is a conceptual diagram illustrating a difference between an image used for training a deep learning model and an image used for image synthesis.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components will be given the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first, second, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present specification, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
본 명세서에서 “공간 해상도”란 위성 원격탐사에서 센서가 관측할 수 있는 목표물의 최소 단위 픽셀 크기값을 의미하며, 공간 해상도 값이 작을수록 공간 해상도가 높다. 예를 들어, 특정 위성의 공간 해상도가 3.3X3.3m인 경우, 상기 특정 위성은 공간 해상도가 10X10m인 위성보다 높은 공간 해상도를 가진다고 할 수 있다. As used herein, the term “spatial resolution” means a minimum unit pixel size value of a target that can be observed by a sensor in satellite remote sensing, and the smaller the spatial resolution value, the higher the spatial resolution. For example, when the spatial resolution of a specific satellite is 3.3X3.3m, it can be said that the specific satellite has a higher spatial resolution than a satellite having a spatial resolution of 10X10m.
본 명세서에서 “방사 해상도”란 위성 원격탐사에서 센서가 얼마나 작은 신호의 크기 차이를 구별할 수 있는가를 나타낸다. 구체적으로, 방사 해상도가 높을수록, 복사에너지가 센서에 기록될 때, 더 세분화된 색상 범위로 데이터를 기록할 수 있게 된다. As used herein, “radiation resolution” refers to how small a difference in signal size can be distinguished by a sensor in satellite remote sensing. Specifically, the higher the radiation resolution, the more granular color range data can be recorded when the radiation energy is recorded by the sensor.
본 명세서에서 “시간 해상도”란 위성 원격탐사에서 특정 지역에 대하여 얼마나 자주 영상 자료를 획득할 수 있는지를 나타낸다. 동일 지역을 자주 방문할수록 시간 해상도가 높다고 할 수 있다. In this specification, "temporal resolution" refers to how often image data can be acquired for a specific area in satellite remote sensing. It can be said that the more frequently the same area is visited, the higher the temporal resolution.
이하에서는, 본 발명에 따른 위성 영상 합성 시스템에 대하여 구체적으로 설명한다.Hereinafter, a satellite image synthesis system according to the present invention will be described in detail.
도 2는 본 발명에 따른 영상 합성 시스템을 나타내는 개념도이다.2 is a conceptual diagram illustrating an image synthesis system according to the present invention.
본 발명에 따른 위성 영상 합성 시스템(100)은, 통신부(110), 저장부(120) 및 제어부(130)를 포함할 수 있다. 다만 본 발명에 따른 위치 제공 장치(100)는 상기 구성 요소로 제한되는 것은 아니며, 상기 구성 요소 중 어느 하나를 생략할 수 있고, 또는 다른 구성 요소를 더 포함할 수 있다.The satellite
통신부(110)는, 복수의 위성(11 및 12) 중 어느 하나의 위성으로부터 데이터를 수신할 수 있다. 여기서 데이터는, 복수의 위성(11 및 12) 중 어느 하나의 위성으로부터 촬영된 영상 정보를 포함할 수 있다.The
또한, 통신부(110)는, 복수의 위성(11 및 12) 각각으로부터 촬영된 영상을 수신할 수 있다.Also, the
한편, 저장부(120)는, 데이터베이스(Database, DB)라고도 명명될 수 있으며, 위성으로부터 수신된 영상 정보, 위성의 위치 정보, 합성된 영상 정보 및 딥러닝을 위한 학습 데이터를 저장할 수 있다.Meanwhile, the
한편, 제어부(130)는, 본 발명에 따른 위성 영상 합성 시스템(100)의 전반적인 동작을 제어할 수 있다.Meanwhile, the
제어부(130)는, 복수의 위성 각각으로부터 특정 지역에 대한 영상을 수신하도록 상기 통신부를 제어할 수 있다.The
한편, 제어부(130)는 영상 합성을 위한 딥러닝 모델을 포함할 수 있으며, 저장부(120)에 저장된 학습 데이터를 통해 딥러닝 모델을 훈련시킬 수 있다. 본 명세서에서 영상 합성은 제어부(130) 또는 딥러닝 모델에 의해 수행되는 것으로 서술하며, 상술한 두 표현은 모두 제어부(130)에 의해 영상 합성이 이루어지는 것으로 해석될 수 있다. Meanwhile, the
이상에서는 본 발명에 따른 위성 영상 합성 시스템(100)을 구성하는 구성요소의 역할을 중심으로 설명하였다.In the above, the role of the components constituting the satellite
이하에서는 본 발명에 따른 위성 영상 합성 시스템(100)의 영상 합성 방법(이하에서는, ‘영상 합성 방법’이라 명명함)을 도면을 참조하여 구체적으로 살펴보도록 한다.Hereinafter, an image synthesizing method (hereinafter, referred to as an 'image synthesizing method') of the satellite
도 3은 본 발명에 따른 위성 영상 합성 방법을 나타내는 순서도이고, 도 4는 본 발명에 따른 위성 영상 합성 결과를 나타내는 개념도이고, 도 5는 딥러닝 모델 훈련 시 사용되는 영상과 영상 합성 시 사용되는 영상의 차이를 나타내는 개념도이다.3 is a flowchart illustrating a satellite image synthesis method according to the present invention, FIG. 4 is a conceptual diagram illustrating a satellite image synthesis result according to the present invention, and FIG. 5 is an image used for training a deep learning model and an image used for image synthesis It is a conceptual diagram showing the difference between
도 3을 참조하면, 제1공간 해상도로 촬영된 제1위성 영상을 수신하는 단계(S110) 및 제2공간 해상도로 촬영된 제2위성 영상을 수신하는 단계(S120)가 진행된다. Referring to FIG. 3 , a step ( S110 ) of receiving a first satellite image captured at a first spatial resolution and a step ( S120 ) of receiving a second satellite image captured at a second spatial resolution are performed.
S110 및 S120은 서로 다른 시점에 진행될 수 있으며, 각 단계의 선후 관계는 별도로 한정하지 않는다. 또한, 제1위성 영상 및 제2위성 영상은 기 저장된 영상을 활용할 수 있는 바, S110 및 S120는 본 발명의 필수적인 구성은 아니다.S110 and S120 may be performed at different time points, and the relationship between each step is not specifically limited. In addition, since the first satellite image and the second satellite image can utilize pre-stored images, S110 and S120 are not essential components of the present invention.
상기 제1위성 영상은 제1위성으로부터 촬영된 영상이고, 제2위성 영상은 제2위성으로부터 촬영된 영상이다. The first satellite image is an image taken from a first satellite, and the second satellite image is an image taken from a second satellite.
상기 제1 및 제2위성은 서로 다른 종류의 위성이다. 상기 제1위성은 상기 제2위성보다 높은 공간 해상도를 가지며, 제1공간 해상도는 제2공간 해상도보다 높다. 예를 들어, 제1공간 해상도는 3.3X3.3m이고, 제2공간 해상도는 13.2X13.2m일 수 있다.The first and second satellites are different types of satellites. The first satellite has a higher spatial resolution than the second satellite, and the first spatial resolution is higher than the second spatial resolution. For example, the first spatial resolution may be 3.3X3.3m, and the second spatial resolution may be 13.2X13.2m.
한편, 상기 제1위성은 상기 제2위성보다 낮은 방사 해상도를 가지며, 제1위성 영상의 제1방사 해상도는 상기 제2위성 영상의 제2방사 해상도보다 낮다.Meanwhile, the first satellite has a lower radiation resolution than the second satellite, and the first radiation resolution of the first satellite image is lower than the second radiation resolution of the second satellite image.
즉, 제1위성은 제2위성보다 세밀하게 물체를 구분할 수 있지만, 색을 세부적으로 구분하는 능력은 상대적으로 낮다. 일 실시 예에 있어서, 제1위성은 Dove 위성이고, 제2위성은 Sentinel 2 위성일 수 있으나, 이에 한정되지는 않는다.That is, the first satellite can distinguish objects more precisely than the second satellite, but the ability to distinguish colors in detail is relatively low. In an embodiment, the first satellite may be a Dove satellite, and the second satellite may be a
한편, 상기 제1위성의 특정 지점에 대한 촬영 주기는 상기 제2위성의 상기 특정 지점에 대한 촬영 주기보다 짧다. 즉, 제1위성의 시간 해상도는 제2위성의 시간 해상도보다 높다.Meanwhile, a photographing period of the specific point of the first satellite is shorter than a photographing period of the specific point of the second satellite. That is, the temporal resolution of the first satellite is higher than the temporal resolution of the second satellite.
다음으로, 상기 제1 및 제2위성 영상을 딥러닝 모델에 입력하여 합성 영상을 생성하는 단계(S130)가 수행된다. Next, a step (S130) of generating a synthesized image by inputting the first and second satellite images into a deep learning model is performed.
상기 합성 영상은 제1공간 해상도 및 상기 제2방사 해상도로 이루어질 수 있다. 즉, 상기 합성 영상은 제1위성으로부터 촬영된 영상의 높은 공간 해상도 및 제2위성으로부터 촬영된 영상의 높은 방사 해상도를 모두 포함하는 영상이다.The synthesized image may have a first spatial resolution and a second radial resolution. That is, the composite image is an image including both a high spatial resolution of an image photographed from the first satellite and a high radiation resolution of an image photographed from the second satellite.
예를 들어, 도 4를 참조하면, 상기 딥러닝 모델은 제1위성 영상(410) 제2위성 영상(420)을 입력 받은 후, 합성 영상(430)을 출력한다. 합성 영상(430)은 제1위성 영상(410)의 공간 해상도를 가지며, 제2위성 영상(420)의 방사 해상도를 가진다.For example, referring to FIG. 4 , the deep learning model outputs a
한편, 특정 시점에 제2위성에서 촬영된 특정 지점에 대한 제2위성 영상은 상기 제2위성의 촬영 주기 동안 상기 제1위성에서 촬영된, 상기 특정 지점에 대한 복수의 위성 영상 각각과 합성될 수 있다. 즉, 상대적으로 낮은 시간 해상도를 가지는 제2위성에서 촬영된 영상은 상대적으로 높은 시간 해상도를 가지는 제1위성에서 촬영된 복수의 영상 각각과 합성될 수 있다.On the other hand, a second satellite image of a specific point captured by a second satellite at a specific time may be synthesized with each of a plurality of satellite images of the specific point captured by the first satellite during a photographing period of the second satellite. have. That is, the image photographed from the second satellite having a relatively low temporal resolution may be combined with each of the plurality of images photographed from the first satellite having a relatively high temporal resolution.
상술한 바와 같이, 본 발명에 따르면, 서로 다른 종류의 위성 영상의 합성을 통해, 각 위성의 장점을 모두 포함하는 영상을 얻을 수 있게 된다. 구체적으로, 본 발명에 따른 위성 영상 합성 방법은 높은 공간 해상도 및 낮은 방사 해상도를 가지는 영상 및 낮은 공간 해상도 및 높은 방사 해상도를 가지는 영상의 합성을 통해, 높은 공간 해상도 및 높은 방사 해상도를 가지는 합성 영상을 제공한다.As described above, according to the present invention, an image including all advantages of each satellite can be obtained by synthesizing different types of satellite images. Specifically, the satellite image synthesis method according to the present invention generates a composite image having high spatial resolution and high radial resolution through synthesizing an image having high spatial resolution and low radial resolution and an image having low spatial resolution and high radial resolution. to provide.
또한, 본 발명에 따르면, 낮은 시간 해상도를 가지는 위성으로부터 촬영된 영상을 높은 시간 해상도를 가지는 위성으로부터 촬영된 복수의 영상과의 합성에 활용함으로써, 높은 공간 해상도 및 높은 방사 해상도를 가지는 영상을 높은 시간 해상도를 가지는 위성의 영상 촬영 주기와 동일한 주기로 수득할 수 있도록 한다.In addition, according to the present invention, by utilizing an image captured from a satellite having a low temporal resolution for synthesizing a plurality of images captured from a satellite having a high temporal resolution, an image having a high spatial resolution and a high radiation resolution can be converted to a high temporal resolution. It is possible to obtain the image in the same period as the image capturing period of the satellite having the resolution.
한편, 본 발명에 따른 위성 영상 합성 방법은 상기 딥러닝 모델을 훈련시키는 단계를 더 포함한다. 이하에서는, 상술한 딥러닝 모델의 훈련 방법에 대하여 설명한다. Meanwhile, the satellite image synthesis method according to the present invention further includes training the deep learning model. Hereinafter, the training method of the deep learning model described above will be described.
상기 딥러닝 모델을 훈련시키는 단계는, 제1공간 해상도로 이루어지는 제1샘플 영상을 다운 샘플링(downsampling)하여 상기 제1공간 해상도보다 낮은 공간 해상도로 이루어지는 제1학습 영상을 생성하는 단계, 제2공간 해상도로 이루어지는 제2샘플 영상을 다운 샘플링(downsampling)하여 상기 제2공간 해상도보다 낮은 공간 해상도로 이루어지는 제2학습 영상을 생성하는 단계 및 상기 제1 및 제2학습 영상, 상기 제1 및 제2샘플 영상 중 적어도 하나를 이용하여, 두 영상을 하나의 영상으로 합성하는 딥러닝 모델을 훈련시키는 단계를 포함한다.The training of the deep learning model includes downsampling a first sample image having a first spatial resolution to generate a first training image having a spatial resolution lower than the first spatial resolution, a second space generating a second training image having a spatial resolution lower than the second spatial resolution by downsampling a second sample image having a resolution, and the first and second training images, the first and second samples and training a deep learning model that synthesizes two images into one image using at least one of the images.
여기서, 제1샘플 영상은 제1위성으로부터 촬영된 영상이고, 상기 제2샘플 영상은 제2위성으로부터 촬영된 영상이다. 다만, 본 발명은 딥러닝 모델을 훈련시킬 때 사용되는 학습 영상의 공간 해상도와 영상 합성 시 사용되는 영상의 공간 해상도가 서로 상이하다.Here, the first sample image is an image photographed from a first satellite, and the second sample image is an image photographed from a second satellite. However, in the present invention, the spatial resolution of the learning image used when training the deep learning model and the spatial resolution of the image used for image synthesis are different from each other.
구체적으로, 제1공간 해상도로 이루어지는 제1샘플 영상은 다운샘플링을 통해 상기 제1공간 해상도보다 낮은 공간 해상도를 가지는 제1학습 영상으로 변환된다. Specifically, a first sample image having a first spatial resolution is converted into a first learning image having a spatial resolution lower than the first spatial resolution through downsampling.
예를 들어, 도 5를 참조하면, 제1샘플 영상(Dove)의 공간 해상도가 3.3X3.3m(또는 3.3m로 표현)인 경우, 상기 제1학습 영상의 공간 해상도는 13.2X13.2m(또는 13.2m로 표현)일 수 있다. For example, referring to FIG. 5 , when the spatial resolution of the first sample image Dove is 3.3X3.3m (or expressed as 3.3m), the spatial resolution of the first training image is 13.2X13.2m (or 13.2m).
여기서, 상기 제1학습 영상의 공간 해상도는 상기 제2샘플 영상의 공간 해상도와 동일 할 수 있다.Here, the spatial resolution of the first training image may be the same as the spatial resolution of the second sample image.
상기 제2공간 해상도로 이루어지는 제2샘플 영상은 다운샘플링을 통해 상기 제2공간 해상도보다 낮은 공간 해상도를 가지는 제2학습 영상으로 변환된다. The second sample image having the second spatial resolution is converted into a second learning image having a spatial resolution lower than the second spatial resolution through downsampling.
예를 들어, 도 5를 참조하면, 제2샘플 영상(Sentinel 2)의 제2공간 해상도가 13.2X13.2m(또는 13.2m로 표현)인 경우, 상기 제2학습 영상의 공간 해상도는 52.8X52.8m(또는 52.8m로 표현)일 수 있다. For example, referring to FIG. 5 , when the second spatial resolution of the second
딥러닝 모델 훈련 시, 딥러닝 모델에 제1 및 제2학습 영상을 입력하여 합성 영상을 생성하고, 생성된 합성 영상을 정답 영상과 비교하여 오차를 산출한다. 딥러닝 모델은 산출된 오차가 기준값 이하로 감소할 때까지 수행될 수 있다.When training a deep learning model, a synthesized image is generated by inputting the first and second learning images to the deep learning model, and an error is calculated by comparing the generated synthesized image with the correct image. The deep learning model may be performed until the calculated error decreases below the reference value.
여기서, 정답 영상은 제2샘플 영상일 수 있다. 정답 영상의 공간 해상도는 제2공간 해상도이며, 이는 제1샘플 영상을 다운샘플링한 제1학습 영상의 공간 해상도와 동일할 수 있다.Here, the correct answer image may be a second sample image. The spatial resolution of the correct answer image is the second spatial resolution, which may be the same as the spatial resolution of the first learning image obtained by down-sampling the first sample image.
학습된 딥러닝 모델에는 제1공간 해상도를 가지는 제1위성 영상 및 제2공간 해상도를 가지는 제2위성 영상이 입력되고, 제1공간 해상도를 가지는 합성 영상이 생성된다.A first satellite image having a first spatial resolution and a second satellite image having a second spatial resolution are input to the learned deep learning model, and a synthesized image having a first spatial resolution is generated.
여기서, 상기 합성 영상을 생성하는 단계에서 활용되는 제1위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 제1학습 영상은 서로 대응되고, 상기 합성 영상을 생성하는 단계에서 활용되는 제2위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 제2학습 영상은 서로 대응된다. Here, the first satellite image used in the step of generating the synthetic image and the first learning image used in the step of training the deep learning model correspond to each other, and the second satellite image used in the step of generating the synthetic image The image and the second learning image used in the step of training the deep learning model correspond to each other.
서로 대응되는 상기 제1위성 영상과 상기 제1학습 영상의 공간 해상도는 서로 상이하고, 서로 대응되는 상기 제2위성 영상과 상기 제2학습 영상의 공간 해상도는 서로 상이하다. 즉, 본 발명은 딥러닝 모델의 훈련에 사용되는 영상의 공간 해상도와 영상 합성에 활용되는 영상의 공간 해상도가 상이하다.The spatial resolutions of the first satellite image and the first learning image corresponding to each other are different from each other, and the spatial resolutions of the second satellite image and the second learning image corresponding to each other are different from each other. That is, in the present invention, the spatial resolution of the image used for training of the deep learning model and the spatial resolution of the image used for image synthesis are different.
예를 들어, 도 5를 참조하면, 딥러닝 모델 훈련(Training Phase) 시 사용된 제1학습 영상(Dove, 공간 해상도:13.2m)과 영상 합성(Testing Phase) 시 사용된 상기 제1학습 영상에 대응되는 제1위성 영상(Dove, 공간 해상도:3.3m)의 공간 해상도는 서로 상이하며, 딥러닝 모델 훈련(Training Phase) 시 사용된 제2학습 영상(Sentinel 2, 공간 해상도:52.8m)과 영상 합성(Testing Phase) 시 사용된 상기 제2학습 영상에 대응되는 제2위성 영상(Sentinel 2, 공간 해상도:13.2m)의 공간 해상도는 서로 상이하다.For example, referring to FIG. 5 , in the first learning image (Dove, spatial resolution: 13.2m) used during deep learning model training (Training Phase) and the first learning image used during image synthesis (Testing Phase) The spatial resolution of the corresponding first satellite image (Dove, spatial resolution: 3.3 m) is different from each other, and the second training image (
상술한 바와 같이, 본 발명은 위성 영상의 합성을 통해 해상도를 높여주는(예를 들어, 공간 해상도 4배 증가) 딥러닝 모델을 제공한다. 이러한 딥러닝 모델의 훈련을 위해서는 실제 합성에 활용되는 영상보다 높은 해상도를 가지는 영상이 필요한데, 본 발명은 실제 합성에 활용되는 영상을 다운 샘플링하여 딥러닝 모델의 훈련에 활용함으로써, 실제 합성에 활용되는 영상보다 높은 해상도를 가지는 영상이 없이도, 해상도를 높여주는 딥러닝 모델의 훈련이 가능하도록 한다. 한편, 합성에 사용되는 제1 및 제2위성 영상은 서로 다른 파장대의 픽셀 값을 포함할 수 있다. 구체적으로, 상기 제1위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대에 대응되는 픽셀값을 포함하고, 상기 제2위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대 및 상기 제1파장대와 다른 제2파장대에 대응되는 픽셀값을 포함하고, 상기 합성 영상을 구성하는 픽셀 각각은, 상기 제1 및 제2파장대에 대응되는 픽셀값을 포함할 수 있다.As described above, the present invention provides a deep learning model that increases resolution (eg, increases spatial resolution 4 times) through the synthesis of satellite images. For training of such a deep learning model, an image having a higher resolution than an image used for actual synthesis is required. In the present invention, the image used for actual synthesis is down-sampled and used for training of the deep learning model, so that the image used for actual synthesis is used. It enables training of a deep learning model that increases the resolution without an image having a higher resolution than the image. Meanwhile, the first and second satellite images used for synthesis may include pixel values of different wavelength bands. Specifically, each of the plurality of pixels constituting the first satellite image includes a pixel value corresponding to a first wavelength band, and each of the plurality of pixels constituting the second satellite image includes a first wavelength band and the first wavelength band Each pixel may include a pixel value corresponding to another second wavelength band, and each pixel constituting the composite image may include a pixel value corresponding to the first and second wavelength bands.
일 실시 예에 있어서, 상기 제1파장대는 가시광선 영역 및 근적외선 영역 중 적어도 하나를 포함하고, 상기 제2파장대는 적색 에지(Red edge) 영역 및 단파적외선(SWIR) 영역 중 적어도 하나를 포함할 수 있다. In an embodiment, the first wavelength band may include at least one of a visible ray region and a near-infrared region, and the second wavelength band may include at least one of a red edge region and a short-wave infrared (SWIR) region. have.
합성 영상은 제1 위성 영상에 포함된 픽셀의 픽셀값보다 넓은 범위의 파장대에 대응되는 픽셀값을 포함할 수 있으며, 제2위성 영상에 대응되는 파장대의 픽셀값을 포함할 수 있다. 즉, 합성 영상은 제1위성 영상보다 풍부하며, 제2위성과 동일한 색상 정보를 포함할 수 있다.The composite image may include pixel values corresponding to a wavelength band wider than pixel values of pixels included in the first satellite image, and may include pixel values in a wavelength band corresponding to the second satellite image. That is, the composite image is richer than the first satellite image and may include the same color information as the second satellite image.
상술한 바와 같이, 본 발명은 서로 다른 파장대의 픽셀값을 포함하는 영상을 합성함으로써, 합성 영상이 표현 가능한 색의 종류를 다양하게 할 수 있다.As described above, according to the present invention, by synthesizing images including pixel values of different wavelength bands, the types of colors that can be expressed in the synthesized image can be diversified.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (10)
상기 제1위성 영상 및 제2위성 영상을 딥러닝 모델에 입력하여 합성 영상을 생성하는 단계를 포함하고,
상기 제1공간 해상도는 상기 제2공간 해상도보다 높고,
상기 제1위성 영상의 제1방사 해상도는 상기 제2위성 영상의 제2방사 해상도보다 낮고,
상기 합성 영상은 상기 제1공간 해상도 및 상기 제2방사 해상도로 이루어지고,
상기 딥러닝 모델을 훈련시키는 단계를 더 포함하고,
상기 딥러닝 모델을 훈련시키는 단계는:
제1공간 해상도를 갖는 제1샘플 영상을 다운샘플링(downsampling)하여 상기 제1공간 해상도보다 낮은 공간 해상도를 갖는 제1학습 영상을 생성하는 단계;
제2공간 해상도를 갖는 제2샘플 영상을 다운샘플링(downsampling)하여 상기 제2공간 해상도보다 낮은 공간 해상도를 갖는 제2학습 영상을 생성하는 단계;
상기 제1학습 영상 및 상기 제2학습 영상을 상기 딥러닝 모델에 입력하여 학습 합성 영상을 생성하는 단계;
상기 학습 합성 영상의 공간 해상도와 상기 제2샘플 영상의 공간 해상도를 비교하여 오차를 산출하는 단계; 및
상기 산출된 오차가 기 지정된 기준 값 이하가 될 때까지 상기 딥러닝 모델을 훈련시키는 단계를 포함하고,
상기 제1위성 영상은, 상기 제1 시간 해상도보다 낮은 상기 제2 시간 해상도를 갖는 제2 위성의 특정 지점에 대한 촬영 주기 동안 제1 위성이 상기 특정 지점을 촬영한 복수의 제1 영상들을 포함하고,
상기 제1위성 영상 및 상기 제2위성 영상을 상기 딥러닝 모델에 입력하여 상기 합성 영상을 생성하는 단계는, 상기 복수의 제1 영상들 각각을 상기 제2 위성이 상기 촬영 주기 동안 촬영한 상기 제2위성 영상과 합성함으로써 상기 제1 시간 해상도에 따른 복수 개의 상기 합성 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 위성 영상의 합성 방법.A method of synthesizing a satellite image for synthesizing a first satellite image photographed to have a first spatial resolution according to a first temporal resolution and a second satellite image photographed to have a second spatial resolution according to a second temporal resolution, the method comprising:
and generating a synthesized image by inputting the first satellite image and the second satellite image into a deep learning model,
The first spatial resolution is higher than the second spatial resolution,
The first radiation resolution of the first satellite image is lower than the second radiation resolution of the second satellite image,
The composite image consists of the first spatial resolution and the second radial resolution,
Further comprising the step of training the deep learning model,
Training the deep learning model includes:
generating a first training image having a spatial resolution lower than the first spatial resolution by downsampling a first sample image having a first spatial resolution;
generating a second training image having a spatial resolution lower than the second spatial resolution by downsampling a second sample image having a second spatial resolution;
generating a learning synthesized image by inputting the first learning image and the second learning image to the deep learning model;
calculating an error by comparing the spatial resolution of the learning synthesized image with the spatial resolution of the second sample image; and
Training the deep learning model until the calculated error is less than or equal to a predetermined reference value,
The first satellite image includes a plurality of first images obtained by photographing the specific point by the first satellite during a photographing period for the specific point of the second satellite having the second temporal resolution lower than the first temporal resolution, ,
The generating of the synthesized image by inputting the first satellite image and the second satellite image into the deep learning model may include capturing each of the plurality of first images by the second satellite during the photographing period. and generating a plurality of the synthesized images according to the first temporal resolution by synthesizing the two satellite images.
상기 제1샘플 영상의 공간 해상도는 상기 제2샘플 영상의 공간 해상도보다 높은 것을 특징으로 하는 위성 영상의 합성 방법.According to claim 1,
and a spatial resolution of the first sample image is higher than a spatial resolution of the second sample image.
상기 합성 영상을 생성하는 단계에서 활용되는 상기 제1위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 상기 제1학습 영상은 서로 대응되고,
상기 합성 영상을 생성하는 단계에서 활용되는 상기 제2위성 영상과 상기 딥러닝 모델을 훈련시키는 단계에서 활용되는 상기 제2학습 영상은 서로 대응되고,
서로 대응되는 상기 제1위성 영상과 상기 제1학습 영상의 공간 해상도는 서로 상이하고,
서로 대응되는 상기 제2위성 영상과 상기 제2학습 영상의 공간 해상도는 서로 상이한 것을 특징으로 하는 위성 영상의 합성 방법.5. The method of claim 4,
The first satellite image used in the step of generating the synthesized image and the first learning image used in the step of training the deep learning model correspond to each other,
The second satellite image used in the step of generating the synthetic image and the second learning image used in the step of training the deep learning model correspond to each other,
The spatial resolution of the first satellite image and the first learning image corresponding to each other are different from each other,
The method for synthesizing satellite images, wherein spatial resolutions of the second satellite image and the second learning image corresponding to each other are different from each other.
상기 제1학습 영상을 생성하는 단계에서,
상기 제1학습 영상은 상기 제2공간 해상도로 다운샘플링(downsampling)되는 것을 특징으로 하는 위성 영상의 합성 방법.6. The method of claim 5,
In the step of generating the first learning image,
The method for synthesizing satellite images, characterized in that the first training image is downsampled to the second spatial resolution.
상기 제1위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대에 대응되는 픽셀값을 포함하고,
상기 제2위성 영상을 구성하는 복수의 픽셀 각각은 제1파장대 및 상기 제1파장대와 다른 제2파장대에 대응되는 픽셀값을 포함하고,
상기 합성 영상을 구성하는 픽셀 각각은,
상기 제1 및 제2파장대에 대응되는 픽셀값을 포함하는 것을 특징으로 하는 위성 영상의 합성 방법.7. The method of claim 6,
Each of the plurality of pixels constituting the first satellite image includes a pixel value corresponding to the first wavelength band,
Each of the plurality of pixels constituting the second satellite image includes a first wavelength band and a pixel value corresponding to a second wavelength band different from the first wavelength band,
Each pixel constituting the composite image,
and comprising pixel values corresponding to the first and second wavelength bands.
상기 제1위성 영상 및 제2위성 영상을 딥러닝 모델에 입력하여 합성 영상을 생성하는 제어부를 포함하고,
상기 제1공간 해상도는 상기 제2공간 해상도보다 높고,
상기 제1위성 영상의 제1방사 해상도는 상기 제2위성 영상의 제2방사 해상도보다 낮고,
상기 합성 영상은 상기 제1공간 해상도 및 상기 제2방사 해상도로 이루어지고,
상기 제어부는:
제1공간 해상도를 갖는 제1샘플 영상을 다운샘플링(downsampling)하여 상기 제1공간 해상도보다 낮은 공간 해상도를 갖는 제1학습 영상을 생성하고,
제2공간 해상도를 갖는 제2샘플 영상을 다운샘플링(downsampling)하여 상기 제2공간 해상도보다 낮은 공간 해상도를 갖는 제2학습 영상을 생성하고,
상기 제1학습 영상 및 상기 제2학습 영상을 상기 딥러닝 모델에 입력하여 학습 합성 영상을 생성하고,
상기 학습 합성 영상의 공간 해상도와 상기 제2샘플 영상의 공간 해상도를 비교하여 오차를 산출하고,
상기 산출된 오차가 기 지정된 기준 값 이하가 될 때까지 상기 딥러닝 모델을 훈련시키고,
상기 제1위성 영상은, 상기 제1 시간 해상도보다 낮은 상기 제2 시간 해상도를 갖는 제2 위성의 특정 지점에 대한 촬영 주기 동안 제1 위성이 상기 특정 지점을 촬영한 복수의 제1 영상들을 포함하고,
상기 제어부는, 상기 복수의 제1 영상들 각각을 상기 제2 위성이 상기 촬영 주기 동안 촬영한 상기 제2위성 영상과 합성함으로써 상기 제1 시간 해상도에 따른 복수 개의 상기 합성 영상을 생성하는 것을 특징으로 하는 위성 영상의 합성 시스템.a communication unit configured to receive a first satellite image photographed to have a first spatial resolution according to a first temporal resolution, and to receive a second satellite image photographed to have a second spatial resolution according to a second temporal resolution; and
A control unit for generating a composite image by inputting the first satellite image and the second satellite image into a deep learning model,
The first spatial resolution is higher than the second spatial resolution,
The first radiation resolution of the first satellite image is lower than the second radiation resolution of the second satellite image,
The composite image consists of the first spatial resolution and the second radial resolution,
The control unit is:
Downsampling a first sample image having a first spatial resolution to generate a first training image having a spatial resolution lower than the first spatial resolution,
Downsampling a second sample image having a second spatial resolution to generate a second training image having a spatial resolution lower than the second spatial resolution,
Input the first learning image and the second learning image to the deep learning model to generate a learning synthetic image,
Comparing the spatial resolution of the learning synthesized image and the spatial resolution of the second sample image to calculate an error,
Train the deep learning model until the calculated error is less than or equal to a predetermined reference value,
The first satellite image includes a plurality of first images obtained by photographing the specific point by the first satellite during a photographing period for the specific point of the second satellite having the second temporal resolution lower than the first temporal resolution, ,
The control unit generates the plurality of synthesized images according to the first temporal resolution by synthesizing each of the plurality of first images with the second satellite image captured by the second satellite during the photographing period. satellite image synthesis system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220023394A KR102441675B1 (en) | 2022-02-23 | 2022-02-23 | Method and system for synthesising satellite images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220023394A KR102441675B1 (en) | 2022-02-23 | 2022-02-23 | Method and system for synthesising satellite images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102441675B1 true KR102441675B1 (en) | 2022-09-08 |
| KR102441675B9 KR102441675B9 (en) | 2022-10-21 |
Family
ID=83279597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220023394A KR102441675B1 (en) | 2022-02-23 | 2022-02-23 | Method and system for synthesising satellite images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102441675B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102632862B1 (en) | 2023-09-12 | 2024-02-05 | 주식회사 퍼픽셀 | System and method for dynamic periodic composition of satellite images |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020054215A (en) * | 2000-12-27 | 2002-07-06 | 오길록 | The Apparatus and Method for Image Fusion using Multisensor Data |
| KR20210018668A (en) * | 2019-08-08 | 2021-02-18 | 동국대학교 산학협력단 | Downsampling image processing system and mehod using deep learning neural network and image streaming server system |
| KR20210078326A (en) * | 2019-12-18 | 2021-06-28 | 한국항공우주연구원 | Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander |
-
2022
- 2022-02-23 KR KR1020220023394A patent/KR102441675B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020054215A (en) * | 2000-12-27 | 2002-07-06 | 오길록 | The Apparatus and Method for Image Fusion using Multisensor Data |
| KR20210018668A (en) * | 2019-08-08 | 2021-02-18 | 동국대학교 산학협력단 | Downsampling image processing system and mehod using deep learning neural network and image streaming server system |
| KR20210078326A (en) * | 2019-12-18 | 2021-06-28 | 한국항공우주연구원 | Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander |
Non-Patent Citations (1)
| Title |
|---|
| 백민영, "위성 영상 이해하기 그리고 딥러닝 part 2.", 블로그 SI Analytics, 2021.03.17.* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102632862B1 (en) | 2023-09-12 | 2024-02-05 | 주식회사 퍼픽셀 | System and method for dynamic periodic composition of satellite images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102441675B9 (en) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7268369B2 (en) | Imaging system, development system, imaging method, and program | |
| CN101516001B (en) | Digital photographing apparatus, method of controlling the digital photographing apparatus, and recording medium | |
| CN109377469B (en) | Processing method, system and storage medium for fusing thermal imaging with visible light image | |
| CN102957863B (en) | Picture pick-up device, image processing equipment and image processing method | |
| JP4966021B2 (en) | Method and apparatus for optimizing red eye filter performance | |
| CN101778222B (en) | Image processing apparatus | |
| US7103235B2 (en) | Extended range image processing for electro-optical systems | |
| JP5461568B2 (en) | Modify color and full color channel CFA images | |
| CN100369461C (en) | Image capture apparatus, image display method, and program | |
| EP3706042A1 (en) | Image processing method, image processing apparatus, program, image processing system, and manufacturing method of learnt model | |
| JP7074052B2 (en) | Image processing equipment and methods | |
| CN103201766A (en) | Method for producing high dynamic range images | |
| KR102445244B1 (en) | Method and apparatus for deep white-balancing editing | |
| JP7205332B2 (en) | Diagnostic processing device, diagnostic system, diagnostic processing method, and program | |
| KR102441675B1 (en) | Method and system for synthesising satellite images | |
| US20200265592A1 (en) | Three-frame difference target acquisition and tracking using overlapping target images | |
| CN109547743A (en) | Information processing unit, photographic device, information processing method and recording medium | |
| CN115298693A (en) | Data generation method, learning method, and estimation method | |
| JP6374849B2 (en) | User terminal, color correction system, and color correction method | |
| CN103685928A (en) | Image processing device, and method for processing image | |
| US20110169777A1 (en) | Image processing apparatus, image display system, and image processing method | |
| JP2009237650A (en) | Image processor and imaging device | |
| US20220139074A1 (en) | Verification of embedded artificial neural networks systems and methods | |
| JP2006253875A (en) | Imaging apparatus | |
| CN112241935A (en) | Image processing method, device and equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |