KR20190084146A

KR20190084146A - Image decoding apparatus based on airborn and method of decoding image using the same

Info

Publication number: KR20190084146A
Application number: KR1020170174002A
Authority: KR
Inventors: 김덕진; 황지환
Original assignee: 서울대학교산학협력단
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2019-07-16
Also published as: KR102090318B1

Abstract

An aircraft-based image restoration device includes a waveform generator, a distributor, an antenna member, a mixer, a raw data generator, a space dividing unit, a division operator, and an image generator. The raw data generator is connected to the mixer, receives a mixed signal from the mixer, and measures a distance between pixels of the ground surface to generate raw data representing the distance between the pixels. The space dividing unit is connected to the raw data generator and divides the raw data and an image to be restored according to a predetermined spatial reference value. The division operator is connected to the space dividing unit and generates divided restored images by applying a division image technique only when calculation importance between a division image to be restored and the divided raw data is within a preset threshold. The image generator is connected to the division operator and combines the restored images to restore the entire image. Thus, the restored images can be effectively created.

Description

항공기기반 영상복원장치 및 이를 이용한 영상복원방법{IMAGE DECODING APPARATUS BASED ON AIRBORN AND METHOD OF DECODING IMAGE USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to an aircraft-based image restoration apparatus and an image restoration method using the same,

본 발명은 항공기기반 영상복원장치 및 이를 이용한 영상복원방법에 관한 것으로, 보다 상세하게는 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Radar) 데이터를 이중 분할영상기법을 통하여 영상으로 복원하는 장치 및 이를 이용한 영상복원방법에 관한 것이다. The present invention relates to an aircraft-based image restoration apparatus and an image restoration method using the same, and more particularly, to an aircraft-based image restoration apparatus and a method of restoring an image by using an FMCW-SAR (Frequency Modulated Continuous Wave-Synthetic Aperture Radar) And an image restoration method using the same.

지구환경조사는 방대한 지역의 지질, 해양, 생태 등을 조사하는 분야로서, 현장조사, 실내실험, 원격탐사 등을 포함한다.The Global Environmental Survey is a survey of geological, marine, and ecological conditions in vast areas, including field surveys, indoor experiments, and remote exploration.

현장조사는 지표탐사, 보링, 물리탐사 등 직접현장을 방문하여 육안 또는 각종 조사장비를 이용한 조사를 포함한다. 현장조사는 그 정확도가 높기 때문에 현재까지도 정밀측정이 필요한 경우에 널리 사용된다. 실내실험은 현장에서 직접 측정하기 어려운 화학적, 물리적 특성 등을 실험실 내의 정밀계측장비를 이용하여 측정한다. 현장조사와 실내실험은 그 정확도가 높은 장점이 있으나, 시간적·공간적 제약으로 인하여 넓은 지역, 원격지, 격오지, 해양 등에 적용하기 쉽지 않다.Field surveys include land surveying, boring, physical exploration, etc., which are conducted directly at the site and include visual inspection or survey using various surveying equipment. Field surveys are widely used when precise measurements are required to date because of their high accuracy. The laboratory tests are carried out using precision measuring instruments in the laboratory to measure the chemical and physical characteristics that are difficult to measure directly in the field. The field survey and laboratory test have the advantage of high accuracy, but due to time and space constraints, it is not easy to apply to large area, remote area, remote area, ocean.

최근에는 원격탐사기술의 발달로 인하여 항공기를 이용한 원격탐사가 널리 이용되고 있다. 특히, 화산폭발, 지진, 태풍 등의 재난상황이나 빙하, 조수, 파도, 해양오염과 같은 환경모니터링에 있어서 원격탐사가 매우 유용하다.In recent years, remote sensing using aircraft has been widely used due to the development of remote sensing technology. In particular, remote sensing is very useful for environmental monitoring such as volcanic eruptions, earthquakes, typhoons, and glaciers, tides, waves and marine pollution.

일반적인 원격탐사장비는 인공위성이나 항공기에 탑재된 레이더를 이용한다. 인공위성의 경우 넓은 지역을 원거리에서 측정하는 것이 가능하지만, 많은 비용이 소요되고 측정지점과의 거리가 멀기 때문에 정밀한 데이터를 얻는 것이 어렵다.Common remote sensing devices use radars mounted on satellites or aircraft. In the case of satellites, it is possible to measure a large area over a long distance, but it is difficult to obtain precise data because it is costly and distant from the measuring point.

항공기의 경우 인공위성과 비교할 때 비교적 저렴한 가격에 근거리 측정이 가능하다는 장점이 있다. 그러나 항공기를 운행하는 동안 대기상태, 기상, 엔진, 등의 원인에 의해 지속적인 요동과 진동이 발생한다. 항공기의 요동과 진동은 데이터의 품질을 저하시키지만 공중을 운행하는 항공기의 특성상 이를 완전히 제거하는 것이 불가능하다.The advantage of the aircraft is that it can be measured at a relatively low price in comparison with satellites. However, during the operation of the aircraft, continuous fluctuations and vibrations occur due to atmospheric conditions, weather, engine, etc. The fluctuations and vibrations of the aircraft degrade the quality of the data, but due to the nature of the airborne aircraft it is impossible to eliminate it completely.

이러한 문제점을 해결하기 위하여 항공기가 운행하는 과정 중에 획득된 레이더 자료를 비교하여 교차검증함으로써 보다 정밀한 영상을 얻는 기술이 연구되고 있다.In order to solve these problems, researches have been made to obtain a more precise image by comparing and verifying cross-validated radar data obtained during the operation of an aircraft.

그러나 레이더 자료를 교차검증하는 것은 각 입력자료들에 대한 반복연산으로 인하여 계산시간이 증가하는 문제점이 있다. 더욱이 대상지역의 면적이 커지거나 해상도가 증가하는 경우, 반복연산의 횟수가 급격히 증가하여 사실상 교차검증이 어려워진다.However, cross validation of radar data has a problem that calculation time increases due to iterative operation on each input data. Furthermore, when the area of the target area becomes larger or the resolution increases, the number of iterative operations increases sharply, so that cross-validation becomes difficult in practice.

대한민국등록특허 제10-1501371 (2015. 3. 10.)Korean Registered Patent No. 10-1501371 (March 10, 2015) 대한민국등록특허 제10-1785684 (2017. 9. 29.)Korean Registered Patent No. 10-1785684 (September 29, 2017)

본 발명의 목적은 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Radar) 데이터를 이중 분할영상기법을 통하여 영상으로 복원하는 장치를 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus for restoring FMCW-SAR (Frequency Modulated Continuous Wave-Synthetic Aperture Radar) data measured by an aircraft to an image through a dual segment image technique.

본 발명의 목적은 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Radar) 데이터를 이중 분할영상기법을 통하여 영상으로 복원하는 장치를 이용하는 영상복원방법을 제공하는 것이다.An object of the present invention is to provide an image restoration method using an apparatus for restoring FMCW-SAR (Frequency Modulated Continuous Wave-Synthetic Aperture Radar) data measured by an aircraft into an image through a dual-segment image technique.

본 발명의 일 실시예에 따른 항공기기반 영상복원장치는 파형발생기, 분배기, 안테나부재, 믹서, 원시데이터생성부, 공간구획부, 분할연산부, 및 이미지생성부를 포함한다. 상기 파형발생기는 송신파와 동일한 파형의 신호를 생성한다. 상기 분배기는 상기 파형발생기에 연결되며, 상기 파형발생기로부터 발생된 신호를 인가받아 분배한다. 상기 안테나부재는 상기 분배기에 연결되며, 상기 분배기로부터 상기 분배된 신호를 인가받아 상기 송신파를 지표면으로 송신하는 송신안테나와, 상기 지표면으로부터 반사되는 수신파를 수신하는 수신안테나를 포함한다. 상기 믹서는 상기 분배기 및 상기 수신안테나에 연결되며, 상기 분배기로부터 인가받은 상기 분배된 신호와 상기 수신안테나로부터 수신된 상기 수신파를 혼합한다. 상기 원시데이터생성부는 상기 믹서와 연결되며, 상기 믹서로부터 상기 혼합된 신호를 인가받아 상기 지표면의 각 화소별 거리를 측정하여 상기 각 화소별 거리를 나타내는 원시데이터를 생성한다. 상기 공간구획부는 상기 원시데이터생성부에 연결되며, 기설정된 공간기준값에 따라 상기 원시데이터 및 복원될 영상을 분할한다. 상기 분할연산부는 상기 공간구획부에 연결되며, 상기 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 기설정된 임계값 내에 존재하는 경우에만 분할영상기법을 적용하여 분할된 복원영상들을 생성한다. 상기 이미지생성부는 상기 분할연산부에 연결되어, 상기 복원영상들을 조합하여 전체영상을 복원하는 이미지생성부를 포함한다.The aircraft-based image restoration apparatus according to an embodiment of the present invention includes a waveform generator, a distributor, an antenna member, a mixer, a raw data generating unit, a space dividing unit, a division calculating unit, and an image generating unit. The waveform generator generates a signal having the same waveform as the transmission wave. The distributor is connected to the waveform generator, and receives and distributes a signal generated from the waveform generator. The antenna member includes a transmission antenna connected to the splitter and receiving the distributed signal from the splitter to transmit the transmission wave to the ground surface, and a reception antenna receiving the reflection wave reflected from the ground surface. The mixer is connected to the distributor and the reception antenna, and mixes the distributed signal received from the splitter and the reception wave received from the reception antenna. The primitive data generation unit is connected to the mixer, receives the mixed signal from the mixer, and measures distance of each pixel on the surface of the ground to generate raw data representing the distance of each pixel. The space dividing unit is connected to the raw data generating unit and divides the raw data and the image to be reconstructed according to a predetermined spatial reference value. The division operation unit is connected to the spatial division unit and generates divided images by applying the divisional image technique only when the calculation importance between the divided image to be restored and the divided raw data is within a preset threshold value . The image generator includes an image generator connected to the division operation unit and reconstructing the entire image by combining the reconstructed images.

일 실시예에서, 상기 원시데이터는 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Rader) 데이터를 포함할 수 있다.In one embodiment, the raw data may include Frequency Modulated Continuous Wave (FMCW-SAR) data measured by an aircraft.

일 실시예에서, 상기 임계값은 레이더빔의 반전력빔폭과 동일하거나 작을 수 있다.In one embodiment, the threshold may be equal to or less than the half power beam width of the radar beam.

일 실시예에서, 상기 분할연산부는 상기 분할된 원시데이터를 역투영 방식에 의해 처리하여 분할영상들을 복원하되, 상기 분할영상들을 복원하는 것은 상기 분할된 원시데이터의 전체에 대해 역투영 방식을 적용하는 것이 아니라 기설정된 임계값을 기준으로 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 상기 임계값을 벗어나는 경우에는 계산과정에서 생략할 수 있다.In one embodiment, the division operation unit processes the divided raw data by a back projection method to restore divided images, and restoring the divided images is performed by applying a back projection method to all of the divided raw data But may be omitted in the calculation process if the calculation importance between the divided image to be restored based on the predetermined threshold value and the divided raw data is out of the threshold value.

본 발명의 일 실시예에 따른 항공기기반 영상복원장치를 이용한 영상복원방법에 있어서, 상기 항공기기반 영상복원장치는 송신파와 동일한 파형의 신호를 생성하는 파형발생기와, 상기 파형발생기에 연결되는 분배기와, 상기 분배기에 연결되어 송신파를 지표면으로 송신하는 송신안테나 및 상기 지표면으로부터 반사되는 수신파를 수신하는 수신안테나를 포함하는 안테나부재와, 상기 분배기 및 상기 수신안테나에 연결되는 믹서와, 상기 믹서와 연결되는 원시데이터생성부와, 상기 원시데이터생성부에 연결되는 공간구획부와, 상기 공간구획부에 연결되는 분할연산부와, 상기 분할연산부에 연결되는 이미지생성부를 포함한다. 상기 영상복원방법에 있어서, 먼저 상기 파형발생기를 이용하여 상기 송신파와 동일한 파형의 신호를 생성한다. 이어서, 상기 분배기를 이용하여 상기 파형발생기로부터 발생된 신호를 상기 송신안테나와 상기 믹서로 분배한다. 이후에, 상기 송신안테나를 이용하여 상기 분배된 신호를 인가받아 상기 송신파를 지표면으로 송신한다. 계속해서, 상기 수신안테나를 이용하여 상기 지표면으로부터 반사되는 상기 수신파를 수신한다. 이어서, 상기 믹서를 이용하여 상기 분배기로부터 인가받은 상기 분배된 신호와 상기 수신안테나로부터 수신된 상기 수신파를 혼합한다. 이후에, 상기 원시데이터생성부를 이용하여 상기 믹서에 의해 혼합된 신호로부터 상기 지표면의 각 화소별 거리를 측정하여 상기 각 화소별 거리를 나타내는 원시데이터를 생성한다. 계속해서, 상기 공간구획부를 이용하여 기설정된 공간기준값에 따라 상기 원시데이터 및 복원될 영상을 분할한다. 이어서, 상기 분할연산부를 이용하여 상기 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 기설정된 임계값 내에 존재하는 경우에만 분할영상기법을 적용하여 분할된 복원영상들을 생성한다. 이후에, 상기 이미지생성부를 이용하여 상기 분할된 복원영상들을 조합하여 전체영상을 복원한다.In the image restoration method using an aircraft-based image restoration apparatus according to an embodiment of the present invention, the aircraft-based image restoration apparatus includes a waveform generator for generating a signal having the same waveform as a transmission wave, a distributor connected to the waveform generator, An antenna member connected to the distributor and including a transmitting antenna for transmitting a transmitting wave to an earth surface and a receiving antenna for receiving a receiving wave reflected from the ground surface; a mixer connected to the distributor and the receiving antenna; And an image generation unit connected to the partitioning operation unit. The partitioning operation unit is connected to the spatial partitioning unit. The partitioning operation unit is connected to the spatial data generating unit. In the image reconstruction method, a signal having the same waveform as that of the transmission wave is first generated using the waveform generator. Then, the distributor is used to distribute the signal generated from the waveform generator to the transmission antenna and the mixer. Thereafter, the distributed signal is received using the transmission antenna, and the transmission wave is transmitted to the ground surface. Subsequently, the reception wave reflected from the ground surface is received using the reception antenna. Then, the distributed signal received from the distributor is mixed with the reception wave received from the reception antenna using the mixer. Thereafter, the source data generator generates raw data representing distances of the respective pixels by measuring the distance of each pixel on the surface of the ground from the signal mixed by the mixer. Subsequently, the original data and the image to be reconstructed are divided according to a predetermined spatial reference value using the space dividing unit. Subsequently, when the computation importance between the divided image to be reconstructed and the divided raw data exists within a predetermined threshold value, the reconstructed images are generated by applying the segmentation technique. Thereafter, the divided reconstructed images are combined using the image generator to reconstruct the entire image.

일 실시예에서, 상기 분할영상기법을 적용하여 분할된 복원영상들을 생성하는 단계는 하기의 식에 의해 분할된 복원영상들을 생성할 수 있다.In one embodiment, the step of generating the divided reconstructed images by applying the segmented image technique may generate the reconstructed images divided by the following equation.

이때, (x,y)는 복원영상의 좌표, M은 원시데이터를 거리방향으로 분할한 갯수, N은 복원될 영상을 거리방향으로 분할한 갯수, p는 항공기의 이동에 따라 수신안테나의 위치에 해당하는 번호, u_Mp는 p번째 수신안테나의 위치, W_p는 윈도우함수, S_IF,r(ω, u_Mp)은 수신안테나의 수신신호, S^* _M(t_diN(u_Mp))는 정합필터, t는 샘플링시간, K는 임계값에 의해 중요도에 따라 선택된 화소의 갯수로 K < M×N·n을 만족하며, n은 복원될 영상을 방위방향으로 분할한 갯수를 각각 나타낼 수 있다.In this case, (x, y) is the coordinate of the reconstructed image, M is the number of division of the raw data into the distance direction, N is the number of division of the image to be reconstructed in the direction of the distance, (U, _Mp ) is the received signal of the receiving antenna, S ^* _M (t _diN (u _Mp )) is the matched number, u _Mp is the position of the pth receiving antenna, W _p is the window function, S _{IF, r} The filter satisfies K <M × N · n, where t is the sampling time and K is the number of pixels selected according to the importance according to the threshold value, and n represents the number of the image to be restored divided in the azimuth direction.

상기와 같은 본 발명에 따르면, 분할영상기법을 이용하여 영상복원과 계산과정의 효율성이 증가한다.According to the present invention, the efficiency of the image restoration and calculation process increases using the segmented image technique.

또한 원시데이터 및 복원영상의 평면분할로 인하여 관심의 대상이 되는 영역을 직관적으로 손쉽게 특정할 수 있다. 원시데이터 및 복원영상을 균일한 크기로 분할하거나, 관심의 대상이 되는 지점에 가중치를 두어 집중적인 관찰이 가능하도록 분할할 수도 있다.In addition, it is possible to intuitively and easily specify an area of interest due to the planar division of the raw data and the restored image. It is also possible to divide raw data and reconstructed image into uniform size, or to divide it so that intensive observation is possible by weighting the points of interest.

또한, 영역을 구획하여 영상복원작업을 수행하므로 계산양이 1차적으로 줄어들고, 임계치 내의 데이터만을 비교하므로 계산양이 2차적으로 줄어들어 계산시간이 감소한다. 특히, 원시데이터의 크기나 해상도가 증가할수록 계산시간이 감소되는 정도가 증가한다. 따라서 상대적으로 긴 합성개구면과 좁은 주사폭을 갖는 항공기기반 FMCW-SAR 시스템에 적합하며, 항공기 요동보상과 다양한 신호처리가 가능하여 효과적으로 복원영상을 생성할 수 있다.In addition, since the image restoration operation is performed by dividing the region, the calculation amount is firstly reduced, and only the data within the threshold value is compared. Therefore, the calculation amount is reduced secondarily and the calculation time is reduced. In particular, as the size or resolution of the raw data increases, the degree of reduction of the computation time increases. Therefore, it is suitable for aircraft-based FMCW-SAR system with relatively long synthetic aperture and narrow scan width. It can effectively compensate for aircraft shaking motion and various signal processing.

또한, 임계치를 조절하여 계산시간 및 복원영상의 정확도를 최적화할 수 있다.In addition, the computation time and the accuracy of the restored image can be optimized by adjusting the threshold value.

도 1은 본 발명의 일 실시예에 따른 항공기기반 영상복원장치를 나타내는 블록도이다.
도 2는 도 1에 도시된 항공기기반 영상복원장치의 기하구조를 나타내는 사시도이다.
도 3은 도 1에 도시된 항공기기반 영상복원장치의 원시데이터 및 분할된 복원영상을 나타내는 이미지이다.
도 4는 도 3에 도시된 분할된 복원영상에 대응되는 행렬을 나타내는 개념도이다.
도 5는 도 1에 도시된 항공기기반 영상복원장치를 이용한 영상복원방법을 나타내는 흐름도이다.
도 6은 도 1에 도시된 항공기기반 영상복원장치에서 계산중요도와 상관없이 분할된 원시데이터의 전체에 대해 복원한 영상을 나타내는 이미지이다.
도 7은 도 1에 도시된 항공기기반 영상복원장치의 임계데이터 입력부에 입력된 임계값이 3°인 경우 복원된 영상을 나타내는 이미지이다.
도 8은 도 6의 A부분을 확대한 이미지이다.
도 9 내지 도 11은 도 1에 도시된 항공기기반 영상복원장치의 임계데이터 입력부에 입력된 임계값이 1°내지 6°인 경우 복원된 영상을 나타내는 이미지들이다.
도 12는 1.5 km 길이의 합성개구면을 갖는 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상을 나타내는 이미지이다.
도 13는 1.5 km 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터 전체에 대하여 계산을 수행하여 얻어진 영상을 나타내는 이미지이다.
도 14은 1.5 km 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터에 임계값을 적용하여 분할연산기법을 수행하여 얻어진 영상을 나타내는 이미지이다.
도 15 내지 도 17은 200m 길이의 합성개구면을 갖는 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상을 나타내는 이미지들이다.
도 18 내지 도 20은 200m 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터에 임계값을 적용하여 분할연산기법을 수행하여 얻어진 영상을 나타내는 이미지들이다.
도 21은 다양한 크기의 원시데이터에 따라 소요되는 계산시간을 나타내는 그래프이다.
도 22은 다양한 해상도의 원시데이터에 따라 소요되는 계산시간을 나타내는 그래프이다.1 is a block diagram illustrating an aircraft-based image restoration apparatus according to an embodiment of the present invention.
FIG. 2 is a perspective view showing the geometry of the aircraft-based image restoration apparatus shown in FIG. 1. FIG.
3 is an image showing raw data and divided restored images of the aircraft-based image restoration apparatus shown in FIG.
4 is a conceptual diagram illustrating a matrix corresponding to the divided restored image shown in FIG.
5 is a flowchart illustrating an image restoration method using the aircraft-based image restoration apparatus shown in FIG.
FIG. 6 is an image showing a reconstructed image of the entire raw data segmented in the aircraft-based image restoration apparatus shown in FIG. 1 regardless of the computational importance.
FIG. 7 is an image showing a reconstructed image when the threshold input to the critical data input unit of the aircraft-based image restoration apparatus shown in FIG. 1 is 3 °.
8 is an enlarged view of a portion A in Fig.
FIGS. 9 to 11 are images showing a reconstructed image when the threshold input to the critical data input unit of the aircraft-based image reconstruction apparatus shown in FIG. 1 is 1 to 6 degrees.
12 is an image showing a reconstructed image by performing a back projection with respect to the entire raw data having a combined opening surface having a length of 1.5 km.
13 is an image showing an image obtained by dividing raw data having a combined opening surface of 1.5 km in length in the aircraft-based image restoration apparatus shown in FIG. 1, and performing calculation on the entire divided raw data.
FIG. 14 is a diagram showing an example of an image representing an image obtained by dividing raw data having a combined opening surface having a length of 1.5 km in the aircraft-based image restoration apparatus shown in FIG. 1 by applying a threshold to the divided raw data, to be.
15 to 17 are images showing a reconstructed image by performing a back projection with respect to the entire raw data having a synthetic aperture of 200 m in length.
FIGS. 18 to 20 are diagrams for explaining an example in which raw data having a synthetic aperture of 200m length is divided by the aircraft-based image restoration apparatus shown in FIG. 1, and a threshold value is applied to the divided raw data, These images are representative.
FIG. 21 is a graph showing calculation time required according to raw data of various sizes.
22 is a graph showing calculation time required according to raw data of various resolutions.

이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in more detail with reference to the accompanying drawings. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다. Like reference numerals are used for like elements in describing each drawing. In the accompanying drawings, the dimensions of the structures are enlarged to illustrate the present invention in order to clarify the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In this application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a part or a combination thereof is described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Also, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

도 1는 본 발명의 일 실시예에 따른 항공기기반 영상복원장치를 나타내는 블록도이다.1 is a block diagram illustrating an aircraft-based image restoration apparatus according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 항공기기반 영상복원장치는 안테나부재(110, 120), 파형발생기(150), 분배기(160), 믹서(205), 원시데이터생성부(210), 공간구획부(220), 공간기준값 입력부(230), 분할연산부(240), 임계데이터 입력부(250), 및 이미지생성부(260)를 포함한다.1 and 2, an aircraft-based image restoration apparatus includes antenna elements 110 and 120, a waveform generator 150, a distributor 160, a mixer 205, a raw data generator 210, A spatial reference value input unit 230, a division operation unit 240, a threshold data input unit 250, and an image generation unit 260.

파형발생기(150)는 송신파(2)와 동일한 파형의 신호를 발생시킨다. 파형발생기(150)는 삼각파, 톱니파, 등의 다양한 신호를 발생시킬 수 있다. 예를 들어, 톱니파는 시간에 따라 주파수가 일정하게 증가하다가 소정의 주기마다 주파수가 초기화되었다가 다시 일정하게 증가하는 파형을 의미한다. 톱니파는 거리에 따른 도플러 주파수를 직접 측정할 수 있어서, 거리에 따른 속도정보를 제공할 수 있다.The waveform generator 150 generates a signal having the same waveform as the transmission wave 2. The waveform generator 150 may generate various signals such as a triangle wave, a sawtooth wave, and the like. For example, a sawtooth wave means a waveform in which the frequency is constantly increased with time, and then the frequency is initialized and then constantly increased every predetermined period. The sawtooth wave can directly measure the Doppler frequency along the distance, thus providing speed information along the distance.

분배기(160)는 파형발생기(150), 안테나부재(110, 120)의 송신안테나(110), 및 믹서(Mixer, 205)에 연결된다. 분배기(160)는 파형발생기(150)로부터 발생된 신호를 인가받아 송신안테나(110) 및 믹서(205)에 분배한다.The distributor 160 is connected to the waveform generator 150, the transmission antenna 110 of the antenna elements 110 and 120, and the mixer 205. The distributor 160 receives the signal generated from the waveform generator 150 and distributes the received signal to the transmission antenna 110 and the mixer 205.

안테나부재(110, 120)는 분배기(160)로부터 인가받은 신호를 송신파(2)를 송신하고, 지표면으로부터 반사되는 수신파(4)를 수신한다. 본 실시예에서, 안테나부재(110, 120)는 송신파(2)를 송신하는 송신안테나(110) 및 수신파(4)를 수신하는 수신안테나(120)를 포함한다.The antenna elements 110 and 120 transmit the transmission wave 2 from the distributor 160 and receive the reception wave 4 reflected from the ground surface. In the present embodiment, the antenna elements 110 and 120 include a transmitting antenna 110 for transmitting a transmitting wave 2 and a receiving antenna 120 for receiving a receiving wave 4. [

믹서(205)는 분배기(160)를 통해서 전달받은 신호와 수신안테나(120)로부터 인가받은 수신파(4)를 혼합하여 원시데이터생성부(210)로 전달한다.The mixer 205 mixes the signal received through the distributor 160 with the receiving wave 4 received from the receiving antenna 120 and transmits the mixed signal to the raw data generating unit 210.

도 2는 도 1에 도시된 항공기기반 영상복원장치의 기하구조를 나타내는 사시도이다.FIG. 2 is a perspective view showing the geometry of the aircraft-based image restoration apparatus shown in FIG. 1. FIG.

도 1 및 도 2를 참조하면, 원시데이터생성부(210)는 믹서(205)로부터 인가받은 신호로부터 수신안테나(120)와 지표면의 각 화소별 거리를 측정하여 각 화소별 거리를 나타내는 원시데이터를 생성한다. 원시데이터는 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Radar) 데이터일 수 있다.Referring to FIGS. 1 and 2, the primitive data generation unit 210 measures the distance of each pixel on the surface of the receiving antenna 120 from the signal received from the mixer 205, and outputs raw data . The raw data may be Frequency Modulated Continuous Wave (FMCW-SAR) data measured by the aircraft.

원시데이터는 실제 영상과 차이를 가질 수 밖에 없다. 원시데이터와 실제 영상에 차이가 생기는 원인은 항공기가 운행중에 기상상태, 비행경로, 엔진진동, 등에 따라 요동이 생겨서, 항공기에 설치된 안테나부재(110, 120)를 통해 송신된 송신파(2) 및 수신된 수신파(4)에 오차가 발생하기 때문이다. 실제로 원시데이터는 뭉개진 형상으로 나타나기 때문에 하기의 식들에 의한 역투영(back-projection)을 통한 보정이 필요하다.The raw data have a difference from the actual image. The cause of the difference between the raw data and the actual image is that the transmission waves 2 and 3 transmitted through the antenna members 110 and 120 installed on the aircraft due to fluctuations in the air condition, This is because an error occurs in the received wave 4. In fact, since the raw data appears as a crushed shape, it is necessary to correct by back-projection by the following equations.

FMCW-SAR 형태의 원시데이터를 생성하기 위하여, 먼저 하기의 [식 1] 내지 [식 4]를 이용하여 계산한다. [식 1] 내지 [식 4]에서, i, j는 2차원 영상으로 얻어지는 복원영상의 각 화소의 위치를 나타내며, t는 샘플링시간, f₀는 중심주파수, K_r은 변조율, u는 안테나 위치, τ는 목표물 지연시간, IF는 중간주파수(Intermediate Frequency), c는 광속을 각각 나타낸다. 본 실시예에서, 복원영상은 2차원 형태이므로 2개의 변수(i, j)로 나타내고, 안테나위치는 항공기의 이동에 따른 3차원 형태이므로 3개의 변수(u_px, u_py, u_pz)로 나타낸다.In order to generate the FMCW-SAR type raw data, first, [Formula 1] to [Formula 4] below are used. [Equation 1] to, i, j in Equation 4 indicates a position of each pixel of the reconstructed image is obtained as a two-dimensional image, t is the sample time, f ₀ is the center frequency, K _r is a modulation factor, u is an antenna Position, tau is the target delay time, IF is the intermediate frequency, and c is the speed of light. In this embodiment, the restored image is represented by two variables (i, j) since it is a two-dimensional shape, and the antenna position is represented by three variables (u _px , u _py , u _pz ) .

[식 1] 내지 [식 4]를 참조하면, 원시데이터생성부(210)는 믹서(205)로부터 분배된 기준 송신 신호 및 수신파(4)를 인가받아 직접 주파수 하향변환(frequency down conversion)하여, 두 신호의 차에 해당하는 비트 주파수(beat frequency) 성분을 수신하고 샘플링하여 원시데이터를 생성한다.Referring to Equation 1 to Equation 4, the primitive data generation unit 210 receives the reference transmission signal and the reception wave 4 distributed from the mixer 205 and directly frequency downconverts A beat frequency component corresponding to a difference between the two signals is received and sampled to generate raw data.

[식 1][Formula 1]

[식 1]에서, S_t(t)는 송신신호로 비트주파수 생성과 레이더 신호처리 과정 중 정합필터(matched filter)로 활용될 기준 신호가 된다.In Equation (1), S _t (t) is a reference signal to be used as a matched filter during bit frequency generation and radar signal processing as a transmission signal.

[식 2][Formula 2]

[식 2]에서, S_r(t)는 [식 1]에서 목표물 지연시간(τ)을 적용한 수신신호를 나타낸다.In Equation (2), S _r (t) denotes a reception signal to which a target delay time (tau) is applied in Equation (1).

[식 3][Formula 3]

[식 3]에서, S_IF,_r(t,u)는 중간주파수(IF)의 수신신호로서 원시데이터를 나타낸다. 중간주파수(IF)는 송·수신신호를 주파수하향변환시켜 얻어진다.In Equation 3, S _IF , _r (t, u) represents the raw data as the reception signal of the intermediate frequency IF. The intermediate frequency (IF) is obtained by down-converting the transmitted and received signals.

[식 4][Formula 4]

[식 4]에서, τ(u)는 복원영상 내의 2차원 평면상에서 i, j번째 화소의 지연시간특성을 나타낸다.In Equation (4), τ (u) represents the delay time characteristics of the i and j pixels on the two-dimensional plane in the reconstructed image.

[식 1] 내지 [식 4]에서는 편의상 신호세기 성분이 생략되어 있다. 당해기술분야에서 통상의 지식과 경험을 가진 자라면, [식 1] 내지 [식 4]에 고려되지는 않았지만, 신호세기 성분, 안테나 빔패턴, 목표물 거리감쇄, 반사도 등이 추가로 고려될 수 있음을 이해할 수 있을 것이다.[Expression 1] to [Expression 4] omit the signal strength component for the sake of convenience. Those skilled in the art will be able to further consider signal strength components, antenna beam patterns, target distance attenuation, reflectivity, etc., although this is not taken into account in Equations 1 to 4 .

본 발명의 비교실시예에 따른 역투영 알고리즘은 FMCW-SAR 영상 내의 i, j번째 화소를 복원하기 위하여, [식 5] 내지 [식 7]의 정합필터과정이 수행된다.The backprojection algorithm according to the comparative example of the present invention performs the matched filter process of [Equation 5] to [Equation 7] to recover the i, j th pixel in the FMCW-SAR image.

[식 5] 내지 [식 7]에서, u_p는 p번째 송신파의 기준 안테나 위치를 나타내며, t_dij는 i,j번째 화소의 지연시간을 나타낸다.[Expression 5] to [Expression 7], u _p denotes the reference antenna position of the p-th transmission wave, and t _dij denotes the delay time of the i and j pixels.

[식 5][Formula 5]

[식 6][Formula 6]

[식 7][Equation 7]

[식 5]에서, Wp는 수신안테나(120)에서 측정된 신호강도에 대한 윈도우함수를 나타내고, t는 샘플링시간을 나타내며, ω는 주파수를 나타내고, u_p는 항공기 상에 장착된 수신안테나(120)의 위치를 나타내며, S_IF,r(ω, u_p)는 수신안테나(120)가 u_p에 위치하는 경우의 수신신호에 대한 위상성분(또는 원시데이터)을 나타낸다.In the expression 5], Wp represents a window function to the signal strength measured in the receive antenna (120), t denotes a sampling time, ω denotes the frequency, u _p is the receive antenna (120 mounted on the aircraft, , And S ( _r, [omega], u _p ) represents the phase component (or raw data) of the received signal when the receiving antenna 120 is located at u _p .

[식 6]에서, S^* _M(t_dij(u_p))는 i,j번째 화소와 수신안테나(120) 사이의 정합필터를 나타낸다.In Equation 6, S ^* _M (t _dij (u _p )) denotes a matched filter between the i, j th pixel and the receiving antenna 120.

[식 7]에서, t_dij(u_p)는 항공기에 장착된 수신안테나(120)의 위치(u_p)에 따른 지연시간을 나타낸다.In Equation 7, t _dij (u _p ) represents the delay time according to the position (u _p ) of the receiving antenna 120 mounted on the aircraft.

[식 5] 내지 [식 7]을 참조하면, 항공기가 u₁에서 u_P까지 이동하는 각 지점(u_p)에서, 수신신호(S_IF,r(ω, u_p))와 정합필터(S^* _M(t_dij(u_p)))를 곱한 값들을 합산하여 좌표가 (x_i,y_j)인 i,j번째 화소의 영상이 f(x_i,y_j)의 함수로 구해진다.Referring to Equation 5 to Equation 7, at each point u _p at which the aircraft moves from u ₁ to u _P , the received signal S _{IF, r} (ω, u _p ) and the matched filter S ^* it is obtained as a function of _{_{_{M (t dij (u p)}}} )) is subject to the summation value obtained by multiplying the coordinates (x _i, y _j) of i, j-th pixel of the image f (x _i, y _j).

[식 5]의 윈도우함수(W_p)에 거리방향과 방위방향을 구분하여 적용하는 경우, 윈도우함수(W_p,az)는 [식 8]과 같이 나타낼 수 있다.When the distance direction and the azimuth direction are separately applied to the window function (W _p ) in [Equation 5], the window function (W _{p, az} ) can be expressed as [Equation 8].

[식 8][Equation 8]

[식 8]에서, 윈도우함수(W_p,αz)는 편각성분(φ_p(i,j))의 절대값을 이용하는 함수로 나타낼 수 있다.In the expression (8), the window function W _{p,? Z} can be represented by a function using the absolute value of the declination component? _{P (i, j)} .

편각성분(φ_p(i,j))은 하기의 [식 9]와 같이 항공기 상의 수신안테나(120)의 좌표(upx, upy, upz) 및 각 화소의 좌표(x_i, y_j)로 나타낼 수 있다.Polarization angle expressed by the component (φ _{p (i, j))} is [Equation 9] and as coordinates (upx, upy, upz) and coordinates (x _i, y _j) of each pixel of the receive antenna 120 on the aircraft to .

[식 9][Equation 9]

또한, [식 5] 내지 [식 9]의 비교실시예에 따른, 역투영 방법에서는 효율적인 영상복원을 위하여 입력신호를 고해상도 신호로 다시 샘플링하여, 원시데이터(S_IF,r(ω, u_p))를 지연시간(τ)과 정합필터(S_t(t))의 계산결과가 최적화시킬 수 있다. 예를 들어, 입력신호를 최초 원시데이터 대비 10배 내지 100배의 고해상 신호로 변환하여 정합필터과정(f(x_i,y_j))에 적용할 수도 있다.In addition, Equation 5] to, in the inverse projection method, the input signal sampled at a high resolution signal for efficient image reconstruction, the raw data (S _{IF, r} (ω, u _p) according to a comparative embodiment of the [equation 9] Can be optimized by the calculation result of the delay time? And the matched filter S _t (t). For example, the input signal may be converted to a high-resolution signal 10 times to 100 times larger than the original raw data and applied to the matched filter process (f (x _i , y _j )).

상기와 같은 비교실시예에 따른 역투영(back-projection) 방법을 수행하는 경우, 합성개구면을 기준으로 분할된 입력신호와 출력된 복원영상 사이의 연산이 모든 화소들에 대해 반복적으로 수행된다. 합성개구면은 항공기가 이동경로상에 측정된 원시데이터를 합성한 것으로, 합성개구면의 폭은 FMCW레이더의 빔에 의해 한 번에 감지할 수 있는 폭에 해당하며, 합성개구면의 길이는 항공기의 이동거리에 대응된다. 입력신호는 원시데이터, 레이더수신신호 등을 나타내는 것으로 S_IF,r(ω, u_p)로 나타낼 수 있다.In the case of performing the back-projection method according to the above-described comparative example, the calculation between the input signal segmented based on the synthesized aperture plane and the output reconstructed image is repeatedly performed on all the pixels. The composite aperture is the composite of the raw data measured on the flight path of the aircraft, the width of the composite aperture corresponds to the width that can be detected at one time by the beam of the FMCW radar, As shown in FIG. Input signals represent raw data, radar received signals, etc., and can be expressed as S _{IF, r} (ω, u _p ).

비록 합성개구면이 하나의 영상처럼 처리되지만, 실제로 하나의 합성개구면은 일정한 운항시간동안 항공기가 이동하는 항적에 대응된다. 실제로 합성개구면에 있어서 상하로 이격거리가 증가하는 경우, 그 연관성이 급격히 저하된다. 그러나 비교실시예에 따른 역투영에 따른 정합필터계산에는 연관성에 무관하게 동등한 연산과정을 통해 계산한다.Although the synthetic aperture is treated like a single image, one composite aperture actually corresponds to a wake in which the aircraft travels during a given flight time. In fact, when the separation distance increases vertically on the synthetic aperture surface, the relationship is drastically reduced. However, the calculation of the matched filter according to the reverse projection according to the comparative example is performed through the same calculation process irrespective of the relevance.

즉, 비교실시예에 따른 역투영 알고리즘은 기본적으로 [식 7]에서와 같이 영상복원을 위해 설정된 합성개구면 상의 모든 화소들과 항공기의 수신안테나(120) 사이의 지연시간을 정합필터과정에 따라 누적된 연산을 반복적으로 수행한다. 그러나 레이더 빔의 중심에서 상대적으로 멀리 벗어난 화소의 경우, 그 계산결과가 복원영상에 미치는 영향이 급격히 감소하지만 계산과정은 레이더 빔의 중심에 있는 화소와 동일하게 수행된다.In other words, the backprojection algorithm according to the comparative example basically includes a delay time between all the pixels on the synthetic aperture plane set for image restoration and the reception antenna 120 of the aircraft as shown in Equation (7) Perform cumulative operations repeatedly. However, in the case of a pixel which is relatively far away from the center of the radar beam, the calculation result is greatly reduced in the effect on the reconstructed image, but the calculation process is performed in the same manner as the pixel located at the center of the radar beam.

또한 복원영상의 화소수가 증가할 수록 누적되는 반복연산의 횟수가 급격히 증가하기 때문에, [식 5]의 연산량이 급격히 증가하여 계산시간이 증가한다.Also, since the number of iterative accumulation operations that accumulate as the number of pixels of the restored image increases sharply, the computation amount of [Equation 5] increases sharply and the computation time increases.

도 3은 도 1에 도시된 항공기기반 영상복원장치의 원시데이터 및 분할된 복원영상을 나타내는 이미지이고, 도 4는 도 3에 도시된 분할된 복원영상에 대응되는 행렬을 나타내는 개념도이다.FIG. 3 is a diagram showing raw data and divided restored images of the aircraft-based image restoring apparatus shown in FIG. 1, and FIG. 4 is a conceptual diagram showing a matrix corresponding to the restored restored images shown in FIG.

도 1 내지 도 4를 참조하면, 원시데이터는 수신안테나(120)의 수신신호(S_IF,r(ω, u_p))에 대응되며, 항공기의 요동, 항적, 레이더 빔의 종류 등에 따라 뭉개진 형상으로 나타난다.1 to 4, the raw data corresponds to the received signal S _{IF, r} (?, U _p ) of the receiving antenna 120, and may be a crushed shape according to the type of the rocking, .

공간구획부(220)는 원시데이터생성부(210) 및 공간기준값 입력부(230)에 연결된다. 공간구획부(220)는 원시데이터생성부(210)로부터 인가받은 원시데이터를 공간기준값 입력부(230)로부터 인가받은 공간기준값(M, N)에 따라 분할한다.The spatial division unit 220 is connected to the primitive data generation unit 210 and the spatial reference value input unit 230. The space dividing unit 220 divides the raw data received from the raw data generating unit 210 according to the space reference value M, N received from the spatial reference value input unit 230.

본 실시예에서, 공간구획부(220)는 복원될 영상을 도 3의 우측이미지와 같이 N×n으로 분할하고, 복원영상의 각 분할된 위치에 대응되는 원시데이터를 도 3의 좌측이미지와 같이 M으로 분할한다.In this embodiment, the spatial partition 220 divides the image to be restored into Nxn as shown in the right image of FIG. 3, and restores raw data corresponding to each divided position of the restored image as shown in the left image of FIG. 3 M.

도 3에는, 공간구획부(220)가 원시데이터 및 복원될 영상을 균일한 크기로 분할한다. 예를 들어, 합성개구면의 길이가 1,500m이고 M이15이면, 공간구획부(220)는 원시데이터를 100m 단위로 분할하고, 복원될 영상도 상하좌우 100m 크기의 격자형상으로 분할할 수 있다.In Fig. 3, the space partition 220 divides raw data and an image to be reconstructed into uniform sizes. For example, if the length of the synthetic aperture is 1,500 m and M is 15, the spatial divider 220 divides the raw data into 100-m units and divides the image to be reconstructed into a grid of 100 m in the vertical, .

다른 실시예에서, 공간구획부(220)는 원시데이터 및 복원될 영상을 서로 다른 크기로 분할할 수도 있다. 예를 들어, 1,500m 길이의 합성개구면을 갖는 원시데이터의 500m 지점에 중요시설물이 있는 경우, 공간구획부(220)는 M을 16으로 설정하고 원시데이터의 5번째, 6번째 분할될 부분의 길이를 50m로 분할할 수 있다. 5번째, 6번째 분할될 부분은 나머지 부분에 비해 동일면적 대비 2배의 계산이 수행된다. 또 다른 실시예에서, 공간구획부(220)는 원시데이터 뿐만 아니라 복원될 영상도 차등으로 분할하여 특정부분에 가중된 계산을 수행할 수 있다. 따라서 원하는 지점에 보다 정확한 복원영상을 얻을 수도 있다.In another embodiment, the space partition 220 may partition the raw data and the image to be reconstructed into different sizes. For example, if there is an important facility at 500 m of the raw data having a synthetic aperture of 1,500 m in length, the space partition 220 sets M to 16, The length can be divided by 50m. The fifth and sixth divided parts are calculated twice as much as the same area as the remaining parts. In yet another embodiment, the spatial partition 220 may perform a weighted computation on a particular portion by differentiating the raw data as well as the image to be reconstructed. Therefore, more accurate reconstruction images can be obtained at desired points.

분할연산부(240)는 공간구획부(220), 임계데이터 입력부(250), 및 이미지생성부(260)에 연결된다. 분할연산부(240)는 임계데이터 입력부(250)로부터 인가받은 임계값(또는 편각)을 기준으로 공간구획부(220)로부터 인가받은 분할된 원시데이터를 역투영 방식에 의해 처리하여 분할영상들을 복원한다.The partitioning unit 240 is connected to the space partitioning unit 220, the threshold data inputting unit 250, and the image generating unit 260. The division operation unit 240 processes the divided raw data received from the spatial division unit 220 on the basis of the threshold value (or declination angle) applied from the threshold data input unit 250 by a back projection method to restore the divided images .

본 실시예에서, 분할연산부(240)는 분할된 원시데이터 전체에 대해 역투영 방법을 적용하는 것이 아니라, 임계값을 이용하여 복원될 분할영상과 분할된 원시데이터 사이의 계산중요도에 따라 제한된 역투영 방법을 수행한다.In the present embodiment, the division operation unit 240 does not apply the back projection method to all of the divided raw data, but uses the threshold value to perform a limited reverse projection according to the calculation importance between the divided image to be restored and the divided raw data Method.

예를 들어, 도 3의 우측영상 중에서 두번째 줄의 첫번째 칸에 위치하는 분할영상(2, 1)을 복원하기 위하여, M개로 분할된 원시데이터를 이용한다.For example, in order to restore the divided images (2, 1) located in the first column of the second row among the right images of FIG. 3, M pieces of raw data are used.

M개의 분할된 원시데이터 중에서, 2번째 분할된 원시데이터와 분할영상(2, 1)의 연산조합이 가장 높은 계산중요도를 갖는다. 반면에, M개의 분할된 원시데이터 중에서, 상대적으로 가장 먼 거리의 M번째 분할된 원시데이터와 분할영상(2, 1)의 연산조합이 가장 낮은 계산중요도를 갖는다.Of the M divided raw data, the arithmetic combination of the second divided raw data and the divided image (2, 1) has the highest computational importance. On the other hand, among the M pieces of raw data, the operation combination of the M-th divided raw data of the farthest distance and the divided image (2, 1) has the lowest computational importance.

본 실시예에서, 임계데이터 입력부(250)는 각 분할된 원시데이터가 가장 높은 계산중요도를 갖는 분할된 원시데이터와 이루는 편각(φ_Mc(2c))을 기준으로 계산중요도를 결정한다. 편각(φ_Mc(2c))은 도면상에서 각 분할된 원시데이터(1, 2, ... M)와 복원될 분할영상(2, 1)이 가장 높은 계산중요도를 갖는 분할된 원시데이터(2)와 복원될 분할영상(2, 1)과 이루는 각도를 나타낸다. 편각(φ_Mc(2c))이 작을수록 영상복원을 위한 계산중요도가 증가하고, 편각(φ_Mc(2c))이 증가할수록 영상복원을 위한 계산중요도가 감소한다.In this embodiment, the threshold data inputting unit 250 determines the calculation importance based on the declination angle? _{Mc (2c)} that each divided raw data forms with the divided raw data having the highest computational importance. The declination angle? _{Mc (2c)} is obtained by dividing the original raw data (1, 2, ..., M) and the divided raw image data (2, 1) And the divided image (2, 1) to be restored. As the angle of decline ( _{Mc (2c)} ) decreases, the computational importance for image reconstruction increases and as the angle of confinement ( _{Mc (2c)} increases), the computational importance for image reconstruction decreases.

도 4를 참조하면, 각 분할된 원시데이터(1, 2, ... M)와 분할영상{(1, 1), (1, 2), ... (N, n)} 사이의 연산조합과 각 연산조합의 계산중요도를 행렬 개념도로 도식화할 수 있다.Referring to FIG. 4, a combination of arithmetic operations between each divided raw data (1, 2, ..., M) and divided images {(1, 1), (1, 2) And the computational importance of each operation combination can be schematized into a matrix concept diagram.

도 4에서, 확장된 대각원소들에 인접하는 연산조합(점선 내의 원소들)은 계산중요도가 높아서 영상복원과정에 필수적으로 포함된다. 대각원소들로부터 상대적으로 먼 거리의 연산조합(점선 외부의 원소들)은 계산과정에서 생략되어 전체 계산시간이 단축된다. 본 실시예에서, 분할영상은 원시데이터와 동일한 거리방향의 분할(1, 2, ... N) 뿐만 아니라 방위방향으로 분할되어(1, 2, ... n) 계산과정이 추가로 단축될 수 있다.In FIG. 4, the operation combination (elements in a dotted line) adjacent to the extended diagonal elements is essential in the image restoration process due to high computational importance. The combination of arithmetic operations that are relatively far from the diagonal elements (elements outside the dotted line) is omitted in the calculation process, thereby reducing the total calculation time. In this embodiment, the divided image is divided in the azimuth direction as well as the division (1, 2, ... N) in the same distance direction as the original data so that the calculation process is further shortened (1, 2, ... n) .

상대적으로 좁은 레이더 빔폭과 긴 합성개구면을 갖는 항공기 기반 FMCW-SAR 시스템의 경우, 원시데이터의 길이가 증가하여 계산중요도가 낮은 연산조합이 증가한다. 원시데이터의 길이가 증가한 경우, 원시데이터를 분할하는 본 발명의 방법을 사용하면 연산과정이 효고적으로 단축된다.In the case of aircraft-based FMCW-SAR systems with relatively narrow radar beam widths and long composite aperture planes, the length of the raw data increases, resulting in an increase in computational complexity that is less computationally intensive. When the length of the raw data is increased, the method of the present invention for dividing the raw data effectively reduces the calculation process.

[식 10]은 분할연산기법을 사용하되, 계산중요도와 상관없이 분할된 원시데이터의 전체에 대해 영상을 복원하는 계산을 나타낸다.[Equation 10] shows a calculation for restoring an image with respect to the entire divided raw data regardless of the calculation importance, using the division operation technique.

[식 10][Equation 10]

[식 11]은 분할연산기법을 사용하되, 계산중요도가 높은 연산조합(K ≤ M×N·n개)를 선택하여 영상을 복원하는 계산을 나타낸다.[Equation 11] shows a calculation for restoring an image by using a division operation technique and selecting a combination of calculations with high computational importance (K M M N).

[식 11][Equation 11]

[식 12]는 [식 5]에 의해 전체 원시데이터에 대한 역투영을 수행하는 경우와, [식 10], [식 11]에 의해 분할연산기법을 사용하여 역투영을 수행하는 경우의 복원영상을 나타낸다.[Equation 12] is a case in which the back projection is performed on the entire raw data by [Equation 5], and the restored image in the case of performing the back projection using the division operation technique by [Equation 10] and [Equation 11] .

[식 10], [식 11]에서, M번째 분할된 원시데이터의 p번째 수신안테나(120)의 위치는 u_Mp이며, N번째 분할 복원영상 영역 내에서 목표물과의 지연시간은 t_dN(u_Mp)로 표현된다.In Equation (10) and (11), the position of the p-th Rx antenna 120 of the Mth divided raw data is u _Mp , and the delay time with respect to the target in the Nth divided reconstructed image region is t _dN _Mp ).

[식 12][Equation 12]

[식 5], [식 10], [식 12]를 참조하면, [식 10]과 같이 분할연산기법을 사용하되 전체 계산중요도와 상관없이 분할된 원시데이터의 전체에 대해 영상을 복원하는 경우, [식 5]와 같이 전체 원시데이터에 대한 역투영을 수행하는 경우와 동일한 연산조합이 수행되며(M×N·n개), 동일한 영상이 복원된다.Referring to [Equation 5], [Expression 10] and [Expression 12], when a divided operation is used as shown in [Equation 10] and the image is restored to the entire original raw data regardless of the total calculation importance, As in Equation 5, the same operation is performed (M × N · n) as in the case of performing back projection with respect to the entire raw data, and the same image is reconstructed.

[식 10] 내지 [식 12]를 참조하면, [식 11]과 같이 계산중요도가 높은 연산조합을 이용하여 영상을 복원하는 경우, [식 10]과 같이 전체 원시데이터에 대한 역투영을 수행하는 경우에 비해 연산조합의 숫자가 감소한다(K ≤ M×N·n개). [식 11]에 의해 얻어지는 복원영상과 [식 10]에 의해 얻어지는 복원영상은 완전히 동일한 것은 아니지만, 육안으로 식별이 불가능한 정도로 매우 유사한 영상이 복원된다.Referring to [Expression 10] to [Expression 12], when an image is restored using a combination of computations having a high computational importance as in Equation 11, the back projection is performed on the entire raw data as shown in [Equation 10] The number of operation combinations decreases (K < M x N < n). The reconstructed image obtained by the equation (11) and the reconstructed image obtained by the equation (10) are not completely the same, but a very similar image is restored to such an extent that it can not be recognized by the naked eye.

본 실시예에서, 계산중요도는 임계데이터 입력부(250)의 임계값(편각, φ_Mc(2c))을 기준으로 결정되며, 임계값(편각, φ_Mc(2c))은 안테나부재(110, 120)의 반전력빔폭(φ_HPBW)을 기준으로 설절될 수 있다. 안테나부재(110, 120)의 반전력빔폭(φ_HPBW)을 벗어나는 분할된 원시데이터는 계산중요도가 급격히 감소하고 영상을 복원하는데 기여하는 정도가 매우 낮다. 예를 들어, 임계데이터 입력부(250)는 반전력빔폭(φ_HPBW)을 임계값(편각, φ_Mc(2c))으로 설정하고, 분할연산부(240)는 연산과정에서 임계값을 벗어나는 분할된 원시데이터를 생략한다. 따라서 복원될 영상의 품질을 유지하면서도 계산량이 급격히 감소된 영상복원이 가능하도록 임계값이 설정될 수 있다.In this embodiment, the calculated importance is determined based on the threshold values (polarization angle, φ _{Mc (2c))} of the threshold data input part 250, a threshold value (polarization angle, φ _{Mc (2c)),} an antenna member (110, 120 ) Half power beam width (? _HPBW ). The divided raw data that deviates from the half power beam width? _HPBW of the antenna members 110 and 120 has a drastically reduced calculation importance and a very low degree of contribution to restoration of the image. For example, the threshold data input unit 250 sets the half power beam width _PHBW to a threshold value ( _positive angle? _{Mc (2c)} ), and the division operation unit 240 sets the half power beam width _PHBW Omit the data. Therefore, the threshold value can be set so that the image can be restored with a sharp reduction in the amount of calculation while maintaining the quality of the image to be restored.

이미지생성부(260)는 분할연산부(240)에 연결되고, 분할연산부(240)로부터 인가받은 분할 복원영상들을 조합하여 전체영상을 복원한다.The image generation unit 260 is connected to the division operation unit 240 and reconstructs the entire image by combining the split reconstruction images applied from the division operation unit 240. [

도 5는 도 1에 도시된 항공기기반 영상복원장치를 이용한 영상복원방법을 나타내는 흐름도이다.5 is a flowchart illustrating an image restoration method using the aircraft-based image restoration apparatus shown in FIG.

도 1 내지 도 5를 참조하면, 항공기기반 영상복원장치를 이용하는 영상복원방법에 있어서, 먼저 파형발생기(150)를 이용하여 송신파(2)와 동일한 파형의 신호를 생성한다(단계 S100).1 to 5, in an image restoration method using an aircraft-based image restoration apparatus, a signal having the same waveform as that of the transmission wave 2 is first generated using the waveform generator 150 (step S100).

이어서, 분배기(160)를 이용하여 파형발생기(150)로부터 발생된 신호를 송신안테나(110)와 믹서(205)로 분배한다(단계 S110).Then, the signal generated from the waveform generator 150 is distributed to the transmission antenna 110 and the mixer 205 using the distributor 160 (step S110).

이후에, 송신안테나(110)를 이용하여 분배된 신호를 인가받아 송신파(2)를 지표면으로 송신한다(단계 S120).Thereafter, the distributed signal is received using the transmission antenna 110, and the transmission wave 2 is transmitted to the earth surface (step S120).

계속해서, 수신안테나(120)를 이용하여 지표면으로부터 반사되는 수신파(4)를 수신한다(단계 S130).Subsequently, the receiving antenna 120 receives the receiving wave 4 reflected from the ground surface (step S130).

이어서, 믹서(205)를 이용하여 분배기(160)로부터 인가받은 분배된 신호와 수신안테나(120)로부터 수신된 수신파(4)를 혼합한다(단계 S140).Subsequently, the distributed signal received from the distributor 160 is mixed with the received wave 4 received from the receiving antenna 120 using the mixer 205 (step S140).

이후에, 원시데이터생성부(210)를 이용하여 믹서(205)에 의해 혼합된 신호로부터 지표면의 각 화소별 거리를 측정하여 각 화소별 거리를 나타내는 원시데이터를 생성한다(단계 S150).Thereafter, the raw data generating unit 210 measures the distance of each pixel on the surface of the ground from the signal mixed by the mixer 205, and generates raw data representing the distance for each pixel (step S150).

계속해서, 공간구획부(220)를 이용하여 기설정된 공간기준값에 따라 원시데이터 및 복원될 영상을 분할한다(단계 S160). 복원될 영상을 분할하는 것은 실제 분할영상을 생성하기 전에, 복원될 영상의 데이터포멧을 설정하고 설정된 데이터포멧을 공간적으로 분할한다. 예를 들어, 복원될 영상의 데이터포멧이 1,024× 28,000의 해상도를 가지는 경우, 1,024× 28,000의 해상도를 갖는 데이터포멧을 설정하고, 이를 방위방향으로 10개(n=10)이며 거리방향으로 280개(N=280)으로 분할하여 각 102×100의 크기를 갖는 복원될 영상들의 포멧으로 분할할 수 있다.Subsequently, the original data and the image to be reconstructed are divided according to a predetermined spatial reference value using the space dividing unit 220 (step S160). Splitting the image to be restored sets the data format of the image to be restored and spatially divides the set data format before generating the actual split image. For example, if the data format of the image to be reconstructed has a resolution of 1,024 x 28,000, a data format having a resolution of 1,024 x 28,000 is set, and 10 (n = 10) in the azimuth direction and 280 (N = 280) and divided into formats of images to be reconstructed having a size of 102x100.

이어서, 분할연산부(240)를 이용하여 복원될 분할영상과 분할된 원시데이터 사이의 계산중요도가 기설정된 임계값 내에 존재하는 경우에만 분할영상기법을 적용하여 분할된 복원영상들을 생성한다(단계 S170). 분할영상기법을 적용하여 분할된 복원영상들을 생성하는 단계는 전술한 [식 11]과 같이 수행될 수 있다.Subsequently, the divided images are generated by using the divided image technique only when the computation importance between the divided image to be restored and the divided raw image exists within a predetermined threshold value using the partitioning operation unit 240 (step S170) . The step of generating segmented restored images by applying the segmented image technique may be performed according to the above-mentioned Equation (11).

[식 11][Equation 11]

이때, (x,y)는 복원영상의 좌표, M은 원시데이터를 거리방향으로 분할한 갯수, N은 복원될 영상을 거리방향으로 분할한 갯수, p는 항공기의 이동에 따라 수신안테나의 위치에 해당하는 번호, u_Mp는 p번째 수신안테나의 위치, W_p는 윈도우함수, S_IF,r(ω, u_Mp)은 수신안테나의 수신신호, S^* _M(t_diN(u_Mp))는 정합필터, t는 샘플링시간, K는 임계값에 의해 중요도에 따라 선택된 화소의 갯수로 K < M×N·n을 만족하며, n은 복원될 영상을 방위방향으로 분할한 갯수를 각각 나타낸다.In this case, (x, y) is the coordinate of the reconstructed image, M is the number of division of the raw data into the distance direction, N is the number of division of the image to be reconstructed in the direction of the distance, (U, _Mp ) is the received signal of the receiving antenna, S ^* _M (t _diN (u _Mp )) is the matched number, u _Mp is the position of the pth receiving antenna, W _p is the window function, S _{IF, r} The filter satisfies K <M × N · n, where t is the sampling time and K is the number of pixels selected according to the importance according to the threshold value, and n represents the number of divided images in the azimuth direction.

예를 들어, 상기 임계값은 레이더빔의 반전력빔폭과 동일하거나 작을 수 있다.For example, the threshold may be equal to or less than the half power beam width of the radar beam.

마지막으로, 이미지생성부(260)를 이용하여 분할된 복원영상들을 조합하여 전체영상을 복원한다.Finally, the divided reconstructed images are combined using the image generator 260 to reconstruct the entire image.

실험예1Experimental Example 1

도 6은 도 1에 도시된 항공기기반 영상복원장치에서 계산중요도와 상관없이 분할된 원시데이터의 전체에 대해 복원한 영상을 나타내는 이미지이고, 도 7은 도 1에 도시된 항공기기반 영상복원장치의 임계데이터 입력부에 입력된 임계값이 3°인 경우 복원된 영상을 나타내는 이미지이다.FIG. 6 is an image showing the reconstructed image of the entire original data segmented in the aircraft-based image restoration apparatus shown in FIG. 1, regardless of the computational importance; FIG. When the threshold input to the data input unit is 3 [deg.], It is an image representing the restored image.

도 6 및 도 7을 참조하면, 5개의 목표물이 존재하는 가상의 지형을 이용하여 모의실험을 수행하였다.Referring to FIGS. 6 and 7, simulations were performed using virtual terrain in which five targets exist.

[표 1]은 모의실험에 사용된 항공기기반 영상복원장치의 제원을 나타낸다.Table 1 shows the specifications of the aircraft based image restoration device used in the simulation.

레이더 변수(Radar parameters)Radar parameters 제원(Specifications)Specifications 비고Remarks 주파수(Frequency)Frequency 10,0 ~ 10.5 GHz10.0 to 10.5 GHz BW = 500 MHzBW = 500 MHz 전력(Tx power)Power (Tx power) 최대 1와트Up to 1 watt 최대30 dBmUp to 30 dBm 샘플링 레이트(sampling rate)Sampling rate 1.2 MHz1.2 MHz 1,024 샘플1,024 samples 감지시간(sensing time)Sensing time ~30초~ 30 seconds PRF = 1,000 HzPRF = 1,000 Hz 빔폭(HPBW)Beam width (HPBW) ~ 12°~ 12 ° 수평 편광Horizontal polarization 고도Altitude 425 m425 m

[표 1]을 참조하면, 목표물과의 거리는 450m이고, 주파수폭은 100m이며, 방위방향거리는 200m인 SAR 원시신호를 이용하여 1,252×4,000개의 샘플개수에 대한 원시데이터로부터 영상을 복원하는 모의실험을 수행하였다. FMCW-SAR 시스템으로서의 항공기기반 영상복원장치의 성능분석을 위해 분할연산기법이 적용되지 않은 경우와 적용된 경우의 특성을 비교하였다.Referring to Table 1, a simulator for restoring an image from raw data of 1,252 × 4,000 samples using a SAR source signal having a distance of 450 m from the target, a frequency width of 100 m, and a direction distance of 200 m Respectively. In order to analyze the performance of the aircraft based image restoration system as FMCW-SAR system, we compared the characteristics of the case where the division operation technique is not applied and the case where it is applied.

분할연산부(240)는 MATLAB 프로그램과 출원인이 개인적으로 제작한 연구용 정보처리장치(CPU i5 3.8 GHz, 메모리 16 GBytes)를 사용하였다.The division operation unit 240 uses a MATLAB program and a research information processor (CPU i5 3.8 GHz, memory 16 GBytes) manufactured by the applicant personally.

도 6 및 도 7을 참조하면, 임계값(φ)이 반전력빔폭보다 작은 값인 3°인 경우에도, 복원영상의 이미지가 원시데이터 전체를 계산하여 얻어진 복원영상과 매우 유사하였다.6 and 7, even when the threshold value φ is 3 ° which is smaller than the half power beam width, the image of the reconstructed image is very similar to the reconstructed image obtained by calculating the entire raw data.

도 8은 도 6의 A부분을 확대한 이미지이고, 도 9 내지 도 11은 도 1에 도시된 항공기기반 영상복원장치의 임계데이터 입력부에 입력된 임계값이 1°내지 6°인 경우 복원된 영상을 나타내는 이미지들이다.FIG. 8 is an enlarged view of a portion A of FIG. 6, and FIGS. 9 to 11 are views for explaining a restored image when the threshold inputted to the threshold data input unit of the aircraft- .

도 8 내지 도 11에서, 분할된 복원영상의 위치가 끝부분에 위치할수록 임계값에 민감해지므로, 가장 위쪽에 위치한 부분(A)에 다양한 임계값을 적용하여 복원영상을 분석하였다. 임계값(편각, φ)이 1°내지 6°인 경우 변화되는 임펄스 응답 함수(Impulse Response Function; IRF)의 특성을 비교하였다.In FIGS. 8 to 11, as the position of the divided restored image becomes more sensitive to the threshold value as it is located at the end portion, the restored image is analyzed by applying various threshold values to the uppermost portion (A). The characteristics of the impulse response function (IRF) changed when the threshold value (declination angle, φ) is 1 ° to 6 ° are compared.

도 8을 참조하면, 분할된 원시데이터의 전체에 대해 영상복원을 수행하는 경우 계산시간은 144.8초가 소요되었다.Referring to FIG. 8, when the image restoration is performed on the entire divided raw data, the calculation time is 144.8 seconds.

도 9를 참조하면, 임계값(φ)이 1°인 경우, 거리방향 및 방위방향의 해상도는 각 0.29m와 0.37m이었으며, 계산시간은 7.1초가 소요되었다.Referring to FIG. 9, when the threshold value? Is 1, the resolutions in the direction of the distance and the direction of the azimuth are 0.29 m and 0.37 m, respectively, and the calculation time is 7.1 seconds.

도 10을 참조하면, 임계값(φ)이 3°인 경우, 거리방향 및 방위방향의 해상도는 각 0.29m와 0.18m이었으며, 계산시간은 21.26초가 소요되었다. 임계값(φ)이 3°인 경우는, 임계값(φ)이 1°인 경우에 비해 방위방향 해상도가 2배가량 향상되었다.Referring to FIG. 10, in the case where the threshold value φ is 3 °, the resolutions in the distance direction and the azimuth direction are 0.29 m and 0.18 m, respectively, and the calculation time is 21.26 seconds. When the threshold value phi is 3 DEG, the resolution in the azimuth direction is improved by about 2 times as compared with the case where the threshold value phi is 1 DEG.

도 11을 참조하면, 임계값(φ)이 6°인 경우, 해상도는 임계값(φ)이 3°인 경우와 동일하였으나, 계산시간은 30.2초가 소요되었다.Referring to FIG. 11, when the threshold value phi is 6 degrees, the resolution is the same as when the threshold value phi is 3 degrees, but the calculation time is 30.2 seconds.

안테나부재(110, 120)의 반전력빔폭을 기준으로 50% 미만인 경우(φ< 3°), 복원영상이 급격히 왜곡되었다. 따라서 임계데이터 입력부(250)에 반전력빔폭의 50% 이상의 임계값을 입력하는 것이 바람직하다.When the half-power beam width of the antenna members 110 and 120 is less than 50% (? <3), the reconstructed image is rapidly distorted. Therefore, it is preferable to input a threshold value of 50% or more of the half power beam width to the critical data input unit 250.

실험예 2Experimental Example 2

도 12은 1.5 km 길이의 합성개구면을 갖는 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상을 나타내는 이미지이고, 도 13는 1.5 km 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터 전체에 대하여 계산을 수행하여 얻어진 영상을 나타내는 이미지이며, 도 14은 1.5 km 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터에 임계값을 적용하여 분할연산기법을 수행하여 얻어진 영상을 나타내는 이미지이다.Fig. 12 is an image showing a restored image by performing a back projection with respect to the entire raw data having a combined opening surface of 1.5 km in length, Fig. 13 is a view showing raw data having a synthetic opening surface of 1.5 km in length, Fig. 14 is a diagram showing an image obtained by performing a calculation on all of the divided raw data in the aircraft-based image restoration apparatus, Is an image representing an image obtained by dividing the original image data by dividing the original image data, and applying a threshold value to the divided original data to perform a division operation method.

도 12 내지 도 14에서, 2016년 1월 대부도 인근 지역에서 실제로 항공기를 운행하여 영상복원장치로부터 얻어진 원시데이터를 사용하였다. 항공기기반 영상복원장치의 제원은 [표 1]과 동일하였으며, 이론적인 경사거리(slant-range) 해상도는 30cm의 성능을 나타냈다. 합성개구면의 길이는 1.5 km이며, 주사폭은 450m, 샘플개수는 1,024×28,000개이었으며, 원시데이터의 용량은 480MBytes이었다.In FIGS. 12 to 14, the original data obtained from the image restoration apparatus was used by actually operating the aircraft in the vicinity of the grand canal in January, 2016. The specifications of the aircraft-based image restoration device are the same as in Table 1, and the theoretical slant-range resolution is 30 cm. The length of the synthetic aperture was 1.5 km, the scan width was 450 m, the number of samples was 1,024 × 28,000, and the raw data capacity was 480 MBytes.

도 12 및 도 13를 참조하면, 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상(도 12)과 도 1에 도시된 항공기기반 영상복원장치에서 분할된 원시데이터 전체에 대하여 계산을 수행하여 얻어진 영상(도 13)은 계산시간 및 이미지가 동일하였다.Referring to FIGS. 12 and 13, a restored image (FIG. 12) performed by performing a backward projection on the entire raw data and a raw data segmented by the aircraft-based image restoring apparatus shown in FIG. 1 are calculated The image (FIG. 13) had the same calculation time and image.

도 12 내지 도 14을 참조하면, 도 1에 도시된 항공기기반 영상복원장치에서 분할된 원시데이터에 임계값을 적용하여 분할연산기법을 수행하는 경우(K < M×N·n, φ=5°)의 영상(도 14)은, 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상(도 12)과 도 1에 도시된 항공기기반 영상복원장치에서 분할된 원시데이터 전체에 대하여 계산(M×N·n개)을 수행하여 얻어진 영상(도 13)과 동급의 영상품질을 나타냈다. 도 14의 복원된 영상(화소갯수 1,534×4,756개)의 각 화소의 크기는 거리/방위 방향으로 각 30 cm로 계산되었다. 본 실험예에서, 최적화된 영상복원을 위하여 정합필터 과정의 입력신호는 20배 증가된 리샘플링(re-sampling) 과정을 포함하였다.Referring to FIGS. 12 to 14, in the case of performing the division operation method by applying the threshold value to the divided raw data in the aircraft-based image restoring apparatus shown in FIG. 1 (K <M × N · n, φ = 5 ° ) (FIG. 14) is calculated (M × N) for all of the original data segmented by the image reconstructed by performing backward projection on the entire raw data (FIG. 12) and the aircraft- (N) images) (Fig. 13). The size of each pixel of the reconstructed image (number of pixels: 1,534 × 4,756) in FIG. 14 was calculated as 30 cm in the direction of distance / azimuth. In this experimental example, the input signal of the matched filter process includes a 20-fold resampling process for optimized image reconstruction.

도 14의 영상은 도 12 또는 도 13의 영상과 비교하여, 육안으로 차이점을 찾지 못할 정도로 매우 흡사하지만, 계산량은 급격히 감소하였다.The image of Fig. 14 is very similar to the image of Fig. 12 or Fig. 13 so that no difference can be found with the naked eye, but the amount of calculation has decreased sharply.

실험예 3Experimental Example 3

도 15 내지 도 17은 200m 길이의 합성개구면을 갖는 전체 원시데이터에 대한 역투영을 수행하여 복원한 영상을 나타내는 이미지들이고, 도 18 내지 도 20은 200m 길이의 합성개구면을 갖는 원시데이터를 도 1에 도시된 항공기기반 영상복원장치에서 분할하되, 분할된 원시데이터에 임계값을 적용하여 분할연산기법을 수행하여 얻어진 영상을 나타내는 이미지들이다.FIGS. 15 to 17 are images showing a reconstructed image by performing a back projection with respect to the entire raw data having a synthetic aperture of 200 m in length, and FIGS. 18 to 20 show raw data having a synthetic aperture of 200 m in length 1 is an image showing an image obtained by dividing the original image data by applying a threshold to the divided original data and performing a division operation method.

도 15 내지 도 20에서, 2016년 1월 대부도 인근 지역에서 실제로 항공기를 운행하여 영상복원장치로부터 얻어진 원시데이터를 사용하였다. 항공기기반 영상복원장치의 제원은 [표 1]과 동일하였으며, 이론적인 경사거리(slant-range) 해상도는 30cm의 성능을 나타냈으나, 영상의 해상도를 각각 1m, 0.5m, 0.3m(30cm)으로 변경하였다. 합성개구면의 길이는 200m이며, 주사폭은 450m이었다. 도 18 내지 도 20의 분할영상기법의 계산에 적용된 임계값(φ)은 3°이었다.In FIGS. 15 to 20, the original data obtained from the image restoration apparatus was used by actually operating the aircraft in the vicinity of the grand road in January, 2016. The aero-based image restoration system is the same as Table 1. The theoretical slant-range resolution is 30cm, but the resolution of the image is 1m, 0.5m, 0.3m (30cm) Respectively. The length of the synthetic aperture was 200 m, and the scanning width was 450 m. The threshold value? Applied to the calculation of the segmented image technique of FIGS. 18 to 20 was 3 degrees.

도 15 및 도 18은 영상의 해상도가 1m인 경우로서 210×467개의 화소를 포함하였다. 임계값(φ)이 3°으로 설정된 분할영상기법(K < M×N·n, φ=3°)이 적용된 이미지(도 18)는 원시데이터 전체에 대한 역투영(M×N·n개)을 수행하여 복원한 영상(도 15)과 동급의 영상품질을 나타냈다.FIGS. 15 and 18 show 210 × 467 pixels when the resolution of the image is 1 m. The image (FIG. 18) to which the divisional image technique (K <M × N · n, φ = 3 °) with the threshold value φ set at 3 ° is applied has a backward projection (M × N · n) (Fig. 15), and the same image quality as the reconstructed image (Fig. 15).

도 16 및 도 19은 영상의 해상도가 0.5m인 경우로서 420×933개의 화소를 포함하였다. 임계값(φ)이 3°으로 설정된 분할영상기법(K < M×N·n, φ=3°)이 적용된 이미지(도 19)는 원시데이터 전체에 대한 역투영(M×N·n개)을 수행하여 복원한 영상(도 16)과 동급의 영상품질을 나타냈다.Figs. 16 and 19 show 420 x 933 pixels when the image resolution is 0.5 m. The image (FIG. 19) to which the divided image method (K <M × N · n, φ = 3 °) in which the threshold value φ is set to 3 ° is applied to the back projection (M × N · n) (Fig. 16), and the image quality of the same level as that of the reconstructed image (Fig. 16).

도 17 및 도 20은 영상의 해상도가 0.3m인 경우로서 710×1,555개의 화소를 포함하였다. 임계값(φ)이 3°으로 설정된 분할영상기법(K < M×N·n, φ=3°)이 적용된 이미지(도 20)는 원시데이터 전체에 대한 역투영(M×N·n개)을 수행하여 복원한 영상(도 17)과 동급의 영상품질을 나타냈다.Figs. 17 and 20 show 710 x 1,555 pixels when the resolution of the image is 0.3 m. The image (FIG. 20) to which the divisional image technique (K <M × N · n, φ = 3 °) with the threshold value φ set at 3 ° is applied is a back projection (M × N · n) (FIG. 17), and the same image quality as the reconstructed image (FIG. 17).

도 15 내지 도 20를 참조하면, 합성개구면의 길이가 짧고 해상도가 다양하더라도, 분할영상기법이 적용된 이미지는 원시데이터 전체에 대한 역투영을 수행하여 복원한 이미지에 비해 육안으로 차이점을 찾지 못할 정도로 매우 흡사하였지만, 계산량은 급격히 감소하였다.15 to 20, even if the length of the synthetic aperture surface is short and the resolution is varied, the image to which the segmented image technique is applied performs a backprojection on the entire raw data, so that the difference can not be detected visually Very similar, but the amount of computation decreased sharply.

계산량 비교Computational complexity comparison

도 21은 다양한 크기의 원시데이터에 따라 소요되는 계산시간을 나타내는 그래프이다.FIG. 21 is a graph showing calculation time required according to raw data of various sizes.

도 21에서, 합성개구면의 길이가 각각 100m, 200m, 1,500m인 항공기기반 레이더(SAR) 영상을 원시데이터로 하여, 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)와, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA)의 계산시간을 비교하였다.In FIG. 21, when an image of an aircraft-based radar (SAR) image of 100 m, 200 m, or 1,500 m in length is synthesized by performing backward projection on the entire raw data, (F-BPA) when reconstructing an image using a segmentation technique.

합성개구면의 길이가 100m인 경우, 원시데이터의 크기는 32 MBytes로 2,048 lines의 데이터였다. 원시데이터의 크기가 작은 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)와 계산시간이 비슷하였다.When the length of the synthetic aperture was 100 m, the size of the raw data was 32 MBytes and the data was 2,048 lines. When the original data size is small, the F-BPA is similar to the BPA when the original image is restored by performing a back-projection on the entire original data.

합성개구면의 길이가 200m인 경우, 원시데이터의 크기는 66 MBytes로 4,096 lines의 데이터였다. 원시데이터의 크기가 다소 증가한 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)에 비해 계산시간이 다소 감소하였다.When the length of the synthetic aperture was 200 m, the size of the raw data was 66 MBytes and the data was 4,096 lines. (F-BPA), when the original data is slightly increased in size, the calculation time is somewhat longer than that in the case of restoring the image by performing the back projection of the entire raw data (BPA) Respectively.

그런데, 합성개구면의 길이가 1,500m인 경우, 원시데이터의 크기는 480 MBytes로 28,000 lines의 데이터였다. 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA) 4시간 48분의 계산시간이 소요되었으나, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA) 43분의 계산시간이 소요되었다. 원시데이터의 크기가 많이 증가한 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)에 비해 계산시간이 급격히 감소하였다.However, when the length of the synthetic aperture is 1,500 m, the size of the raw data is 480 MBytes and the data is 28,000 lines. In case of restoring the image by performing the back projection on the whole raw data (BPA), it takes 4 hours and 48 minutes calculation time. However, when restoring the image by using the partial image method (F-BPA) . (F-BPA) when the original image data is greatly increased in size, the computation time is faster than that in the case of restoring the image by performing the back projection of the entire raw data in the case of restoring the image using the partial image technique Respectively.

도 22은 다양한 해상도의 원시데이터에 따라 소요되는 계산시간을 나타내는 그래프이다.22 is a graph showing calculation time required according to raw data of various resolutions.

도 22에서, 합성개구면의 길이가 200m인 항공기기반 레이더(SAR) 영상의 해상도를 각각 210×467개, 420×983개, 700×1,555개로 변경된 영상을 원시데이터로 하여, 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)와, 분할영상기법을 이용하여 영상을 복원하는 경우(FBPA)의 계산시간을 비교하였다.In FIG. 22, images having resolutions of 210 × 467, 420 × 983, and 700 × 1,555, respectively, of an aircraft-based radar (SAR) image having a synthetic aperture surface length of 200 m are used as raw data, The computation time of the reconstructed image (BPA) and the reconstructed image (FBPA) using the split image technique were compared.

해상도가 210×467개인 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(FBPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)와 계산시간이 비슷하였다.In the case of the resolution of 210 × 467, in case of restoring the image using the segmentation method (FBPA), the calculation time is similar to that of the case of restoring the image (BPA) by performing the back projection against the entire raw data.

해상도가 420×983개인 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(FBPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)에 비해 계산시간이 약간 감소하였다.In the case of the resolution of 420 × 983, the computation time is slightly reduced compared with the case of restoring the image by performing backprojection on the entire raw data (FBPA) in the case of restoring the image using the segmented image technique (BPA).

그런데, 해상도가 700×1,555개인 경우, 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA) 368.6초의 계산시간이 소요되었으나, 분할영상기법을 이용하여 영상을 복원하는 경우(FBPA) 284초의 계산시간이 소요되었다. 원시데이터의 해상도가 많이 증가한 경우, 분할영상기법을 이용하여 영상을 복원하는 경우(FBPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)에 비해 계산시간이 급격히 감소하였다.However, when the resolution is 700 × 1,555, it takes 368.6 seconds for the BPA to perform the backprojection for the entire original data. However, in the case of restoring the image using the partial image method (FBPA) The calculation time was 284 seconds. When the resolution of the original data is increased, the computation time is significantly reduced as compared with the case of restoring the image by performing backprojection on the entire raw data (FBPA) .

원시데이터의 크기나 해상도가 증가할수록, 분할영상기법을 이용하여 영상을 복원하는 경우(F-BPA)는 원시데이터 전체에 대한 역투영을 수행하여 영상을 복원하는 경우(BPA)에 비해 계산시간에 차이가 발생하였다. 특히, 원시데이터의 크기나 해상도가 커질수록 계산시간의 차이가 커졌다.As the size and resolution of primitive data increases, the reconstructed image (F-BPA) by using the segmented image technique is compared with the original image (BPA) A difference occurred. In particular, the larger the size and resolution of the raw data, the greater the difference in computation time.

상기와 같은 본 발명에 따르면, 상기 항공기에 의해 측정된 FMCW-SAR 데이터를 역투영(back-projection) 알고리즘에 복합적인 분할연산기법을 추가하여 빠른 정보처리속도로 영상을 복원하고 계산과정의 효율성이 증가한다.According to the present invention, a composite division operation technique is added to the back-projection algorithm of the FMCW-SAR data measured by the aircraft to restore the image at a high information processing speed, .

본 발명은 항공뷰, 지형도 작성, 해양탐사, 원격탐사, 인공위성탐사, 항공기탐사, 부유실험장치를 이용한 탐사, 조류탐사, 기상탐사, 군사용 등의 용도로 사용될 수 있는 산업상 이용가능성을 갖는다.INDUSTRIAL APPLICABILITY The present invention has industrial applicability that can be used for applications such as aerial view, topographic map creation, marine exploration, remote exploration, satellite exploration, aircraft exploration, floating exploration, bird exploration, weather exploration, and military use.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 실용신안등록청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as set forth in the following claims It will be understood.

110, 120 : 안테나부재 150 : 파형발생기
160 : 분배기 205 : 믹서
210 : 원시데이터생성부 220 : 공간구획부
230 : 공간기준값 입력부 240 : 분할연산부
250 : 임계데이터 입력부 260 : 이미지생성부110, 120: Antenna member 150: Waveform generator
160: Dispenser 205: Mixer
210: raw data generating unit 220:
230: Spatial reference value input unit 240:
250: a threshold data input unit 260:

Claims

송신파와 동일한 파형의 신호를 생성하는 파형발생기;
상기 파형발생기에 연결되며, 상기 파형발생기로부터 발생된 신호를 인가받아 분배하는 분배기;
상기 분배기에 연결되며, 상기 분배기로부터 상기 분배된 신호를 인가받아 상기 송신파를 지표면으로 송신하는 송신안테나와, 상기 지표면으로부터 반사되는 수신파를 수신하는 수신안테나를 포함하는 안테나부재;
상기 분배기 및 상기 수신안테나에 연결되며, 상기 분배기로부터 인가받은 상기 분배된 신호와 상기 수신안테나로부터 수신된 상기 수신파를 혼합하는 믹서;
상기 믹서와 연결되며, 상기 믹서로부터 상기 혼합된 신호를 인가받아 상기 지표면의 각 화소별 거리를 측정하여 상기 각 화소별 거리를 나타내는 원시데이터를 생성하는 원시데이터생성부;
상기 원시데이터생성부에 연결되며, 기설정된 공간기준값에 따라 상기 원시데이터 및 복원될 영상을 분할하는 공간구획부;
상기 공간구획부에 연결되며, 상기 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 기설정된 임계값 내에 존재하는 경우에만 분할영상기법을 적용하여 분할된 복원영상들을 생성하는 분할연산부; 및
상기 분할연산부에 연결되어, 상기 복원영상들을 조합하여 전체영상을 복원하는 이미지생성부를 포함하는 항공기기반 영상복원장치.A waveform generator for generating a signal having the same waveform as the transmission wave;
A distributor connected to the waveform generator for receiving and distributing a signal generated from the waveform generator;
An antenna member connected to the splitter and including a transmission antenna receiving the distributed signal from the splitter and transmitting the transmission wave to the ground surface, and a reception antenna receiving the reception wave reflected from the ground surface;
A mixer connected to the distributor and the reception antenna, for mixing the distributed signal received from the splitter and the reception wave received from the reception antenna;
A primitive data generator connected to the mixer for receiving the mixed signal from the mixer and measuring distance of each pixel on the surface of the ground to generate primitive data representing distances for the respective pixels;
A space dividing unit connected to the raw data generating unit and dividing the raw data and the image to be reconstructed according to a predetermined spatial reference value;
A division operation unit connected to the space division unit and generating divided images by applying a divisional image technique only when the calculation importance between the divided image to be restored and the divided raw data exists within a preset threshold value; And
And an image generation unit coupled to the division operation unit and restoring the entire image by combining the restored images.

제1항에 있어서, 상기 원시데이터는 항공기에 의해 측정된 FMCW-SAR(Frequency Modulated Continuous Wave - Synthetic Aperture Rader) 데이터를 포함하는 것을 특징으로 하는 항공기기반 영상복원장치.The apparatus of claim 1, wherein the raw data includes Frequency Modulated Continuous Wave (FMCW-SAR) data measured by an aircraft.

제2항에 있어서, 상기 임계값은 레이더빔의 반전력빔폭과 동일하거나 작은 것을 특징으로 하는 항공기기반 영상복원장치.The apparatus of claim 2, wherein the threshold value is equal to or less than a half power beam width of the radar beam.

제1항에 있어서, 상기 분할연산부는 상기 분할된 원시데이터를 역투영 방식에 의해 처리하여 분할영상들을 복원하되, 상기 분할영상들을 복원하는 것은 상기 분할된 원시데이터의 전체에 대해 역투영 방식을 적용하는 것이 아니라 기설정된 임계값을 기준으로 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 상기 임계값을 벗어나는 경우에는 계산과정에서 생략하는 것을 특징으로 하는 항공기기반 영상복원장치.The method of claim 1, wherein the division operation unit processes the divided raw data by a back projection method to restore divided images, wherein restoring the divided images comprises applying a back projection method to all of the divided raw data Based on the difference between the divided image to be restored based on the predetermined threshold value and the divided raw data, is omitted from the calculation process when the calculated importance is out of the threshold value.

송신파와 동일한 파형의 신호를 생성하는 파형발생기와, 상기 파형발생기에 연결되는 분배기와, 상기 분배기에 연결되어 송신파를 지표면으로 송신하는 송신안테나 및 상기 지표면으로부터 반사되는 수신파를 수신하는 수신안테나를 포함하는 안테나부재와, 상기 분배기 및 상기 수신안테나에 연결되는 믹서와, 상기 믹서와 연결되는 원시데이터생성부와, 상기 원시데이터생성부에 연결되는 공간구획부와, 상기 공간구획부에 연결되는 분할연산부와, 상기 분할연산부에 연결되는 이미지생성부를 포함하는 항공기기반 영상복원장치를 이용하는 영상복원방법에 있어서,
상기 파형발생기를 이용하여 상기 송신파와 동일한 파형의 신호를 생성하는 단계;
상기 분배기를 이용하여 상기 파형발생기로부터 발생된 신호를 상기 송신안테나와 상기 믹서로 분배하는 단계;
상기 송신안테나를 이용하여 상기 분배된 신호를 인가받아 상기 송신파를 지표면으로 송신하는 단계;
상기 수신안테나를 이용하여 상기 지표면으로부터 반사되는 상기 수신파를 수신하는 단계;
상기 믹서를 이용하여 상기 분배기로부터 인가받은 상기 분배된 신호와 상기 수신안테나로부터 수신된 상기 수신파를 혼합하는 단계;
상기 원시데이터생성부를 이용하여 상기 믹서에 의해 혼합된 신호로부터 상기 지표면의 각 화소별 거리를 측정하여 상기 각 화소별 거리를 나타내는 원시데이터를 생성하는 단계;
상기 공간구획부를 이용하여 기설정된 공간기준값에 따라 상기 원시데이터 및 복원될 영상을 분할하는 단계;
상기 분할연산부를 이용하여 상기 복원될 분할영상과 상기 분할된 원시데이터 사이의 계산중요도가 기설정된 임계값 내에 존재하는 경우에만 분할영상기법을 적용하여 분할된 복원영상들을 생성하는 단계; 및
상기 이미지생성부를 이용하여 상기 분할된 복원영상들을 조합하여 전체영상을 복원하는 단계를 포함하는 영상복원방법.A distributor connected to the waveform generator, a transmission antenna connected to the distributor for transmitting the transmission wave to the ground surface, and a reception antenna for receiving the reception wave reflected from the ground surface, A source data generator connected to the mixer, a spatial divider connected to the source data generator, and a divider coupled to the spatial divider, the divider connected to the divider and the receiving antenna, An image restoration method using an aircraft-based image restoration apparatus including an operation unit and an image generation unit connected to the division operation unit,
Generating a signal having the same waveform as the transmission wave using the waveform generator;
Distributing a signal generated from the waveform generator to the transmission antenna and the mixer using the distributor;
Receiving the distributed signal using the transmission antenna and transmitting the transmission wave to an earth surface;
Receiving the reception wave reflected from the ground surface using the reception antenna;
Mixing the distributed signal received from the distributor with the receiving wave received from the receiving antenna using the mixer;
Measuring a distance of each pixel on the surface of the ground from the signal mixed by the mixer using the raw data generation unit to generate raw data representing the distance for each pixel;
Dividing the raw data and the image to be reconstructed according to a predetermined spatial reference value using the space partition;
Generating segmented restored images by applying a segmented image technique only when the calculated importance between the segmented image to be restored and the divided raw data is within a predetermined threshold value using the segmentation operation unit; And
And reconstructing the entire image by combining the divided reconstructed images using the image generator.

제5항에 있어서, 상기 임계값은 레이더빔의 반전력빔폭과 동일하거나 작은 것을 특징으로 하는 영상복원방법.The method of claim 5, wherein the threshold value is equal to or less than a half power beam width of the radar beam.

제5항에 있어서, 상기 분할영상기법을 적용하여 분할된 복원영상들을 생성하는 단계는 하기의 식에 의해 분할된 복원영상들을 생성하는 것을 특징으로 하는 영상복원방법.

((x,y)는 복원영상의 좌표, M은 원시데이터를 거리방향으로 분할한 갯수, N은 복원될 영상을 거리방향으로 분할한 갯수, p는 항공기의 이동에 따라 수신안테나의 위치에 해당하는 번호, u_Mp는 p번째 수신안테나의 위치, W_p는 윈도우함수, S_IF,r(ω, u_Mp)은 수신안테나의 수신신호, S^* _M(t_diN(u_Mp))는 정합필터, t는 샘플링시간, K는 임계값에 의해 중요도에 따라 선택된 화소의 갯수로 K < M×N·n을 만족하며, n은 복원될 영상을 방위방향으로 분할한 갯수를 각각 나타냄)6. The method of claim 5, wherein the reconstructed images generated by applying the segmentation technique are generated by dividing the reconstructed images by the following equation.

(x, y) is the coordinate of the reconstructed image, M is the number of division of the raw data into the distance direction, N is the number of division of the image to be reconstructed in the direction of the distance, p is the position of the receiving antenna (U, _Mp ) is the reception signal of the receiving antenna, S ^* _M (t _diN (u _Mp )) is the position of the receiving antenna, u _Mp is the position of the pth receiving antenna, W _p is the window function, S _{IF, r} , t is the sampling time, K is the number of pixels selected according to the importance according to the threshold, satisfies K < M x N · n, and n is the number of the images to be restored,