KR102543272B1 - Region-based dehazing method and apparatus thereof - Google Patents

Abstract

영역 기반 안개 제거 방법 및 그 장치가 개시된다. 영역 기반 안개 제거 방법은 데이터 셋을 삼중심층망 기반 안개 제거 모델에 적용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 상기 제1 영상과 상기 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력하는 단계; 및 상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신시키는 단계를 포함한다. An area-based fog removal method and apparatus are disclosed. The region-based fog removal method generates a first image with improved contrast and a second image with fog removed by applying a data set to a tricentric layer network-based fog removal model, respectively, and using the first image and the second image outputting an integrated result image by referring to the degraded region; and updating the tricentric layer network-based haze removal model by considering double supervised loss and adversarial loss based on a part of the data set, the first image, the second image, and the resulting image.

Description

영역 기반 안개 제거 방법 및 그 장치{Region-based dehazing method and apparatus thereof}Region-based dehazing method and apparatus thereof {Region-based dehazing method and apparatus thereof}

본 발명은 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for region-based fog removal through double supervised learning and tricenter layer neural network.

실외 환경에서 영상은 햇빛을 반사하는 대기 입자에 의해 쉽게 저하될 수 있다. 이러한 콘트라스트, 색상 및 에지 정보의 저하로 인해 영상의 중요한 특징이 왜곡되어 다양한 비전 기반 이미지 분석 작업에 어려움이 있다. In outdoor environments, images can easily be degraded by atmospheric particles that reflect sunlight. Due to the degradation of contrast, color, and edge information, important features of the image are distorted, which makes various vision-based image analysis tasks difficult.

실외 안개 영상을 복원하기 위해 Middleton et al.은 물리적 모델 기반 디헤이징(dehazing) 방법을 제시했으나, 헤이즈 모델을 추정하기 위해 깊이 맵, 편광 이미지, 잠재 클리어 패치, 사용자 상호 작용과 같은 추가 정보를 필요로 하는 단점이 있다. Middleton et al. presented a physical model-based dehazing method to reconstruct an outdoor fog image, but additional information such as depth map, polarization image, latent clear patch, and user interaction was needed to estimate the haze model. There are downsides to needing.

대부분의 물리적 모델 기반 dehazing 방법은 물리적 모델과 실제 헤이즈 사이의 불일치로 인해 어둡거나 그림자 영역에서 대비가 저하 될 수 있다. 이러한 저하는 흐릿한 이미지의 품질을 저하시킨다. 또한 retinex-haze 결합 모델은 헤이즈 영역에서 밝기 채도 문제를 일으키는 단점이 있다. Most physical model-based dehazing methods can result in poor contrast in dark or shadowy areas due to a discrepancy between the physical model and the actual haze. This degradation degrades the blurry image. In addition, the retinex-haze combination model has a disadvantage of causing brightness saturation problems in the haze region.

본 발명은 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치를 제공하기 위한 것이다. The present invention is to provide a region-based fog removal method and apparatus through double supervised learning and tricenter layer neural network.

또한, 본 발명은 디헤이징 과정에서 그림자 영역에서 강도 저하 없이 안개를 효과적으로 제거할 수 있는 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention is to provide a region-based fog removal method and apparatus through dual supervised learning and tricenter layer neural network that can effectively remove fog without reducing intensity in a shadow region during a dehazing process.

또한, 본 발명은 노이즈, 채도, 강도 왜곡과 같은 물리적 모델 불일치 오류에도 강한 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention is to provide a region-based haze removal method and apparatus through dual supervised learning and tricenter layer neural network that are resistant to physical model mismatch errors such as noise, saturation, and intensity distortion.

또한, 본 발명은 계산 복잡도가 낮아 다양한 영상 향상 응용에 적합한 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention is to provide a region-based haze removal method and apparatus through dual supervised learning and tricenter layer neural network suitable for various image enhancement applications due to low computational complexity.

본 발명의 일 측면에 따르면, 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법이 제공된다.According to one aspect of the present invention, a region-based fog removal method through double supervised learning and tricenter layer neural network is provided.

본 발명의 일 실시예에 따르면, 데이터 셋을 삼중심층망 기반 안개 제거 모델에 적용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 상기 제1 영상과 상기 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력하는 단계; 및 상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신시키는 단계를 포함하는 삼중심층망 기반 안개 제거 방법이 제공될 수 있다. According to an embodiment of the present invention, a first image with improved contrast and a second image with fog removed are generated by applying the data set to a tricentric layer network-based haze removal model, respectively, and the first image and the second image outputting an integrated result image by referring to the degraded region using the image; and updating the tricentric layer network-based haze removal model by considering double supervised loss and adversarial loss based on a part of the data set, the first image, the second image, and the resulting image. A based fog removal method may be provided.

상기 삼중심층망 기반 안개 제거 모델은, 상기 데이터 셋에 포함된 입력 영상의 컨트라스트를 개선하여 상기 제1 영상을 출력하는 조도 개선 모델부; 상기 입력 영상의 안개를 제거하여 상기 제2 영상을 출력하는 디헤이징 모델부; 및 상기 제1 영상과 상기 제2 영상을 6-채널 영상으로 취하여 통합한 후 저하된 영역을 추정하고, 상기 추정된 영역을 이용하여 상기 제1 영상과 상기 제2 영상을 통합한 상기 결과 영상을 출력하는 영역 기반 모델부를 포함하되, 상기 조도 개선 모델부, 상기 디헤이징 모델부 및 상기 영역 기반 모델부는 복수의 콘볼루션 레이어와 정규화 레이어를 가질 수 있다. The tricentric layer network-based fog removal model may include: an illuminance enhancement model unit configured to output the first image by improving contrast of an input image included in the data set; a dehazing model unit outputting the second image by removing haze from the input image; and taking the first image and the second image as a 6-channel image, integrating them, estimating a degraded area, and integrating the first image and the second image using the estimated area, and obtaining the resulting image. An output region-based model unit may be included, and the illumination enhancement model unit, the dehazing model unit, and the region-based model unit may have a plurality of convolutional layers and normalization layers.

상기 결과 영상을 판별하는 판별 모델(discriminator model)을 더 포함하되, 상기 판별 모델은 상기 결과 영상이 상기 데이터 셋에 포함된 이상적인 영상(ideal image)과 확률적으로 같아지도록 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신하여 학습시킬 수 있다. Further comprising a discriminator model for discriminating the resulting image, wherein the discriminator model considers the adversarial loss so that the resulting image is probabilistically equal to an ideal image included in the data set. The deep network-based fog removal model can be updated and trained.

상기 (b) 단계는, 상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신될 수 있다. In the step (b), the mean square error using a part of the data set, the first image, the second image, and the resultant image and the supervision loss in which the perceptual loss is reflected are minimized. The tricenter layer network-based fog removal model this can be updated.

상기 (b) 단계는, 이상적인 영상과 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 자기-감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신될 수 있다. In the step (b), the tricentric layer network-based haze removal model minimizes the mean square error using the ideal image, the first image, the second image, and the resulting image, and self-supervised loss in which perceptual loss is reflected. can be updated

입력 영상이 저하된 영상인 경우, 상기 감독 손실을 고려한 가중치는 하기 수학식과 같이 갱신되되, When the input image is a degraded image, the weight considering the supervision loss is updated as in the following equation,

여기서,

는 감독 손실을 나타내며,

이되,here,

represents the supervision loss,

Become

상기

,

,

는 각각, 제1 영상, 제2 영상 및 결과 영상과 트레이닝 데이터 셋의 일부에 의한 평균 절대 오차와 지각 손실을 고려한 비용 함수를 나타낸다. remind

,

,

denotes a cost function considering the average absolute error and perceptual loss of the first image, the second image, the resulting image, and a portion of the training data set, respectively.

입력 영상이 이상적인 영상인 경우, 상기 자기-감독 손실을 고려한 가중치는 하기 수학식과 같이 갱신되되, If the input image is an ideal image, the weight considering the self-directed loss is updated as shown in the following equation,

여기서,

는 자기-감독 손실을 나타내며,

,

,

는 각각 제1 영상, 제2 영상 및 결과 영상과 이상적인 영상간의 평균 절대 오차와 지각 손실을 고려한 비용 함수를 나타낸다. here,

denotes the self-directed loss,

,

,

denotes a cost function considering average absolute error and perceptual loss between the first image, the second image, and the resulting image and the ideal image, respectively.

본 발명의 다른 측면에 따르면, 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 장치가 제공된다. According to another aspect of the present invention, a region-based haze removal apparatus through double supervised learning and tricenter layer neural network is provided.

본 발명의 일 실시예에 따르면, 데이터 셋을 이용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 상기 제1 영상과 상기 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력하는 삼중심층망 기반 안개 제거 모델부; 및 상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델부를 갱신시키는 학습부를 포함할 수 있다. According to an embodiment of the present invention, a first image with improved contrast and a second image from which fog is removed are generated using a data set, and a degraded area is determined using the first image and the second image. A tricentric layer network-based fog removal model unit for outputting an integrated result image with reference to; and a learning unit for updating the tricentric layer network-based haze removal model unit in consideration of double supervised loss and adversarial loss based on a part of the data set, the first image, the second image, and the resulting image.

상기 삼중심층망 기반 안개 제거 모델부는, 상기 데이터 셋에 포함된 입력 영상의 컨트라스트를 개선하여 상기 제1 영상을 출력하는 조도 개선 모델부; 상기 입력 영상의 안개를 제거하여 상기 제2 영상을 출력하는 디헤이징 모델부; 및 상기 제1 영상과 상기 제2 영상을 6-채널 영상으로 취하여 통합한 후 저하된 영역을 추정하고, 상기 추정된 영역을 이용하여 상기 제1 영상과 상기 제2 영상을 통합한 상기 결과 영상을 출력하는 영역 기반 모델부를 포함하되, 상기 조도 개선 모델부, 상기 디헤이징 모델부 및 상기 영역 기반 모델부는 복수의 콘볼루션 레이어과 정규화 레이어를 가질 수 있다. The tricentric layer network-based haze removal model unit may include: an illuminance improvement model unit that outputs the first image by improving contrast of an input image included in the data set; a dehazing model unit outputting the second image by removing haze from the input image; and taking the first image and the second image as a 6-channel image, integrating them, estimating a degraded area, and integrating the first image and the second image using the estimated area, and obtaining the resulting image. An outputting region-based model unit may be included, and the illumination enhancement model unit, the dehazing model unit, and the region-based model unit may have a plurality of convolution layers and normalization layers.

상기 삼중심층망 기반 안개 제거 모델부의 후단에 연결되며, 상기 결과 영상을 판별하는 판별 모델(discriminator model)을 더 포함하되, 상기 판별 모델은 상기 결과 영상이 상기 데이터 셋에 포함된 이상적인 영상(ideal image)과 확률적으로 같아지도록 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신하여 학습시킬 수 있다. It is connected to the rear end of the tricentric layer network-based fog removal model unit and further includes a discriminator model for discriminating the result image, wherein the discriminator model is an ideal image in which the result image is included in the data set ) and the adversarial loss may be taken into account, and the tricentric layer network-based fog removal model may be updated and trained.

상기 학습부는, 상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신될 수 있다. The learning unit updates the tricenter layer network-based haze removal model so that a supervision loss in which a mean square error and perceptual loss are reflected using a part of the data set, the first image, the second image, and the resultant image are minimized. can

상기 학습부는, 이상적인 영상과 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 자기-감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신될 수 있다. The learning unit may update the three-center layer network-based haze removal model so that self-supervised loss in which the average square error and perceptual loss are reflected using the ideal image, the first image, the second image, and the resulting image are minimized. there is.

본 발명의 일 실시예에 따른 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법 및 그 장치를 제공함으로써, 디헤이징 과정에서 그림자 영역에서 강도 저하 없이 안개를 제거할 수 있는 이점이 있다. By providing a region-based haze removal method and apparatus through dual supervised learning and tricentre neural network according to an embodiment of the present invention, there is an advantage in that fog can be removed without reducing intensity in the shadow region during the dehazing process.

또한, 본 발명은 노이즈, 채도, 강도 왜곡과 같은 물리적 모델 불일치 오류에도 강한 이점이 있다. In addition, the present invention has a strong advantage against physical model mismatch errors such as noise, saturation, and intensity distortion.

또한, 본 발명은 계산 복잡도가 낮아 다양한 영상 향상 응용에 적합한 이점도 있다. In addition, the present invention has a low computational complexity and is suitable for various image enhancement applications.

도 1은 본 발명의 일 실시예에 따른 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 데이터 생성을 위한 전체 플로우를 설명하기 위해 도시한 도면.
도 2은 본 발명의 다른 실시예에 따른 데이터 생성을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 삼중심층망 기반 안개 제거 모델을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 삼중심층망 기반 안개 제거 모델의 영역 예측 및 출력 결과를 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 특징맵 설명을 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 각각의 다른 손실 함수에 따른 삼중심층망 기반 안개 제거 모델의 성능을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 자기-감독 손실을 위한 데이터 셋을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 이중 감독 학습 과정을 설명하기 위해 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 파라미터

의 효과를 설명하기 위해 도시한 도면.
도 11은 종래와 본 발명의 일 실시예에 따른 디헤이징 결과를 비교하기 위해 도시한 도면.1 is a flowchart illustrating a region-based fog removal method through double supervised learning and tricenter layer neural network according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the entire flow for data generation according to an embodiment of the present invention.
2 is a diagram for explaining data generation according to another embodiment of the present invention;
4 is a view showing a fog removal model based on a tricentric layer network according to an embodiment of the present invention.
5 is a diagram showing region prediction and output results of a tricentric layer network-based fog removal model according to an embodiment of the present invention.
6 is a diagram for explaining a feature map according to an embodiment of the present invention;
7 is a diagram for explaining the performance of a tricentric layer network-based fog removal model according to different loss functions according to an embodiment of the present invention.
8 is a diagram for explaining a data set for self-directed loss according to an embodiment of the present invention;
9 is a diagram for explaining a dual supervised learning process according to an embodiment of the present invention;
10 is a parameter according to an embodiment of the present invention

A drawing shown to explain the effect of.
11 is a diagram for comparing dehazing results according to the prior art and an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Singular expressions used herein include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some of the steps It should be construed that it may not be included, or may further include additional components or steps. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이중감독 학습과 삼중심층신경망을 통한 영역 기반 안개 제거 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 데이터 생성을 위한 전체 플로우를 설명하기 위해 도시한 도면이고, 도 2은 본 발명의 다른 실시예에 따른 데이터 생성을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 삼중심층망 기반 안개 제거 모델을 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 삼중심층망 기반 안개 제거 모델의 영역 예측 및 출력 결과를 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 특징맵 설명을 위해 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 각각의 다른 손실 함수에 따른 삼중심층망 기반 안개 제거 모델의 성능을 설명하기 위해 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 자기-감독 손실을 위한 데이터 셋을 설명하기 위해 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 이중 감독 학습 과정을 설명하기 위해 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 파라미터

의 효과를 설명하기 위해 도시한 도면이며, 도 11은 종래와 본 발명의 일 실시예에 따른 디헤이징 결과를 비교하기 위해 도시한 도면이다. 1 is a flow chart showing a region-based haze removal method through double supervised learning and tricenter layer neural network according to an embodiment of the present invention, and FIG. 2 is an overall flow for data generation according to an embodiment of the present invention. FIG. 2 is a diagram for explaining data generation according to another embodiment of the present invention, and FIG. 4 is a diagram showing a fog removal model based on a tricenter layer network according to an embodiment of the present invention. 5 is a diagram showing area prediction and output results of a tricentric layer network-based fog removal model according to an embodiment of the present invention, and FIG. 6 is a diagram for explaining a feature map according to an embodiment of the present invention. 7 is a diagram for explaining the performance of a tricentric layer network-based fog removal model according to different loss functions according to an embodiment of the present invention, and FIG. 8 is a self diagram according to an embodiment of the present invention. -A diagram for explaining a data set for supervision loss, FIG. 9 is a diagram for explaining a dual supervised learning process according to an embodiment of the present invention, and FIG. 10 is a diagram for an embodiment of the present invention. parameter according to

11 is a diagram shown to compare dehazing results according to an embodiment of the present invention and the conventional one.

단계 110에서 안개 제거 장치(1200)는 데이터 셋을 생성한다. In step 110, the fog removal device 1200 creates a data set.

데이터 생성을 위한 전체 플로우는 도 2에 도시된 바와 같다. 도 2를 참조하여 데이터 생성에 대해 보다 상세히 설명하기로 한다. The entire flow for data generation is as shown in FIG. 2 . Referring to FIG. 2 , data generation will be described in more detail.

안개 제거 장치(1200)는 도 2에 도시된 바와 같이, 안개를 포함하는 입력 영상에 대해 조도 개선 영상, 디헤이징 영상을 생성하고, 이를 합성하여 삼중심층망 모델 학습을 위한 영상을 생성할 수 있다. As shown in FIG. 2, the fog removal device 1200 may generate an illumination enhancement image and a dehazing image for an input image including fog, and synthesize them to generate an image for learning a tricenter layer network model. there is.

안개 제거 장치(1200)는 조도 맵(illuminance map)을 사용하여 입력 영상의 컨트라스트를 개선한 영상을 생성한다. The fog removal device 1200 generates an image with improved contrast of an input image using an illuminance map.

컨트라스트가 개선된 이미지는 수학식 1과 같이 나타낼 수 있다. An image with improved contrast can be expressed as in Equation 1.

여기서,

는 LIME 연산을 나타낸다. LIME 연산은 조도 맵을 사용하여 입력 영상에서 저조도를 개선하는 방법(illumination map-based low-light image enhancement method)이다. 또한, I(p)는 입력 영상을 나타낸다. here,

represents the LIME operation. LIME operation is an illumination map-based low-light image enhancement method for enhancing low-light in an input image using an illumination map. Also, I(p) represents an input image.

또한, 안개 제거 장치(1200)는 반사광 최적화(RRO: reflectance-radiance optimization)을 사용하여 입력 영상에서 디헤이징을 수행하여 디헤이징된 영상을 생성한다. 여기서, 반사광 최적화 기법은 Shin et al에 의해 공지된 “Radiance-reflectance combined optimization and structure-guided l0-norm for single image dehazing"에 기술되어 있다. 따라서, 반사광 최적화 기법을 적용한 디헤이징 방법에 대한 상세한 설명은 생략하기로 한다. In addition, the fog removal apparatus 1200 generates a dehazing image by performing dehazing on an input image using reflectance-radiance optimization (RRO). Here, the reflected light optimization technique is described in “Radiance-reflectance combined optimization and structure-guided l0-norm for single image dehazing” by Shin et al. Therefore, a detailed description of the dehazing method using the reflected light optimization technique is provided. Description will be omitted.

입력 영상에 대한 디헤이징된 영상은 수학식 2와 같이 나타낼 수 있다. A dehazed image of the input image can be expressed as Equation 2.

여기서,

는 반사광 최적화 연산을 나타낸다. here,

denotes a reflected light optimization operation.

이와 같이, 컨트라스트가 개선된 영상과 디헤이징된 영상을 각각 생성한 후 안개 제거 장치(1200)는 대비가 저하된 영역을 선택하기 위해

와

을 통합하여 로컬 컨트라스트를 제거한다. In this way, after generating the image with improved contrast and the image with dehazing, respectively, the fog removal device 1200 selects an area with reduced contrast.

and

to eliminate local contrast.

통합 과정은

과

모두의 라플라시안 에지를 찾음으로써 시작될 수 있다. 이를 수학식으로 나타내면 수학식 3과 같이 나타낼 수 있다. The integration process

class

We can start by finding all Laplacian edges. Expressing this as an equation, it can be expressed as Equation 3.

여기서, E는 L 또는 R로 표시되는 LIME 및 RRO를 포함하는 증강 타입을 나타내고, p는 픽셀 좌표를 나타내며,

는 p를 중심으로 하는 이웃을 나타내며, q는 필터링 커널내의 픽셀 좌표를 나타내고,

는 라플라시안-형태 필터(Laplacian-shaped filter)를 나타낸다. where E denotes an augmentation type including LIME and RRO denoted by L or R, p denotes pixel coordinates,

denotes the neighborhood centered on p, q denotes the pixel coordinates within the filtering kernel,

represents a Laplacian-shaped filter.

라플라시안 에지 맵은 가우시안 커널

을 사용하여 스무드해지며, 이를 수학식으로 나타내면 수학식 4와 같이 나타낼 수 있다. The Laplacian edge map is the Gaussian kernel

It is smoothed using , and when expressed as an equation, it can be expressed as in Equation 4.

여기서,

는 스무드된 라플라시안 에지 맵을 나타낸다. 따라서, 도 2에 도시된 바와 같이, 컨트라스트 증강된 영상에 대한 스무드된 라플라시안 에지 맵과 디헤이징된 영상에 대한 스무드된 라플라시안 에지 맵이 생성될 수 있다. here,

denotes a smoothed Laplacian edge map. Accordingly, as shown in FIG. 2 , a smoothed Laplacian edge map for the contrast-enhanced image and a smoothed Laplacian edge map for the dehazed image may be generated.

이진 컨트라스트 맵은 수학식 5와 같이 도출될 수 있다. A binary contrast map can be derived as in Equation 5.

연결되지 않은 영역을 제거함으로써 이진 컨트라스트 맵을 정제하기 위해, 안개 제거 장치(1200)는 이진 컨트라스트 맵에 구조-가이드

필터를 적용한다. 이를 수학식으로 나타내면 수학식 6과 같다. To refine the binary contrast map by removing unconnected regions, the defogger 1200 structure-guides the binary contrast map.

apply a filter If this is expressed as an equation, it is equal to Equation 6.

여기서,

는 정제된 컨트라스트 맵을 나타내고,

는 입력 영상과 참조 영상을 입력으로 취한 후 동일한 구조의 정제된 컨트라스트 맵을 반환하는 구조-가이드

필터를 나타낸다. here,

denotes a refined contrast map,

is a structure-guide that takes an input image and a reference image as input and returns a refined contrast map of the same structure.

represents a filter.

과

은 각각 정제된 컨트라스트 맵(

)를 사용하여 통합될 수 있다. 이를 수학식으로 나타내면 수학식 7과 같다.

class

are the refined contrast maps (

) can be integrated using This is expressed as Equation 7.

도 2를 참조하여 안개 제거 장치(1200)가 삼중심층망 모델 학습을 위한 데이터 셋을 생성하는 방법에 대해 설명하였다. Referring to FIG. 2 , a method for generating a data set for learning a tricentric layer network model by the fog removal apparatus 1200 has been described.

그러나, 데이터 셋 생성이 반드시 도 2에 도시된 바와 같이, 제한되는 것은 아니며, 도 3에 도시된 바와 같이 다른 방법으로 생성될 수도 있다. However, data set generation is not necessarily limited as shown in FIG. 2, and may be created in other ways as shown in FIG.

이에 대해 간략히 설명하기로 한다. This will be briefly explained.

안개 제거 장치(1200)는 입력 영상 Y을 반사(r)과 조도(illuminance)로 분해할 수 있다. 이어,

트랜스폼을 사용하여 조도를 왜곡하여 조도가 열화된 영상

을 생성할 수 있다. 또한, 안개 제거 장치(1200)는 입력 영상과 안개 모델(haze model)을 이용하여

을 생성할 수 있다. 그리고, 안개 제거 장치(1200)는 조도가 열화된 영상과 안개 모델을 이용하여 조도와 안개에 의해 열화된 데이터 세트를 생성할 수 있다. The fog removing device 1200 may decompose the input image Y into reflection r and illuminance. Following,

Images in which illumination is deteriorated by distorting illumination using transform

can create In addition, the haze removal device 1200 uses an input image and a haze model

can create Also, the fog removal apparatus 1200 may generate a data set deteriorated by illumination and fog by using the image and the fog model in which illumination is deteriorated.

상술한 바와 같이, 삼중심층망 모델의 학습에 이용되는 데이터 세트는 전술한 방법 이외에도 공지된 다양한 방법에 의해 생성될 수 있음은 당연하다. As described above, it is natural that the data set used for learning the tricentric layer network model may be generated by various known methods other than the above method.

단계 115에서 안개 제거 장치(1200)는 데이터 셋을 삼중심층망 안개 제거 모델에 적용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 제1 영상과 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 생성한다. In step 115, the fog removal apparatus 1200 applies the data set to the tricentric layer network fog removal model to generate a first image with improved contrast and a second image with fog removed, respectively, and the first image and the second image An integrated result image is created by referring to the degraded area using

삼중심층망 안개 제거 모델은 도 4에 도시된 바와 같다. 도 4를 참조하여 삼중심층망 안개 제거 모델에 대해 설명하기로 한다. The tricentric layer network fog removal model is as shown in FIG. 4 . Referring to FIG. 4, the tricentric layer network fog removal model will be described.

도 4에서 보여지는 바와 같이, 삼중심층망 모델은 안개를 제거하기 위한 디헤이징 모델부(420), 저조도 영역의 컨트라스트를 개선하는 조도 개선 모델부(410) 및 디헤이징 모델부(420)와 조도 개선 모델부(410)에서 각각 출력된 두 영상의 베스트 영역을 제거하기 위한 영역 제거 모델부(430)를 포함하여 구성된다. As shown in FIG. 4, the tricentric layer network model includes a dehazing model unit 420 for removing fog, an illumination enhancement model unit 410 for improving contrast in a low-light area, and a dehazing model unit 420. and a region removal model unit 430 for removing the best regions of the two images respectively output from the illumination enhancement model unit 410.

디헤이징 모델부(420)와 조도 개선 모델부(410)는 9개의 컨볼루션 레이어와 24개 채널로 구성되며, 각 컨볼루션 레이어에는 LReLU(Adaptive normalization and leaky rectified linear units)이 연결된다. 또한, 영역 제거 모델부(430)는 디헤이징 모델부(420)와 조도 개선 모델부(410)의 결과를 입력으로써 6-채널 영상을 취하여 통합하고, 9개의 컨볼루션 레이어와 배치 정규화 레이어가 적용될 수 있다. The dehazing model unit 420 and the illumination enhancement model unit 410 are composed of 9 convolution layers and 24 channels, and adaptive normalization and leaky rectified linear units (LReLUs) are connected to each convolution layer. In addition, the region removal model unit 430 takes and integrates 6-channel images as inputs of the results of the dehazing model unit 420 and the illumination enhancement model unit 410, and nine convolutional layers and a batch normalization layer are formed. can be applied

영역 제거 모델부(430)는 저하된 영역을 추정하기 때문에, 어뎁티브 정규화 레이어 대신 배치 정규화 레이어가 적용될 수 있다. 예측된 영역은 두 결과를 수학식 8과 같이 통합할 수 있다. Since the region removal model unit 430 estimates the degraded region, a batch normalization layer may be applied instead of the adaptive normalization layer. The predicted area may integrate the two results as shown in Equation 8.

여기서,

는 결과 영상을 나타내고, S는 영역 제거 모델부를 통해 예측된 영역을 나타내며,

과

는 디헤이징 모델부와 조도 개선 모델부의 결과를 나타낸다. here,

denotes the resulting image, S denotes a region predicted through the region removal model unit,

class

Represents the results of the dehazing model unit and the illuminance improvement model unit.

본 발명의 일 실시예에 따른 삼중심층망 안개 제거 모델의 각각의 출력 결과는 도 5에 도시된 바와 같다. Each output result of the tricentric layer network fog removal model according to an embodiment of the present invention is as shown in FIG. 5 .

단계 120에서 안개 제거 장치(1200)는 데이터 셋의 일부와 제1 영상, 제2 영상 및 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신한다. In step 120, the haze removal apparatus 1200 updates the tricentric layer network-based haze removal model by considering double supervised loss and adversarial loss based on a part of the data set, the first image, the second image, and the resulting image.

이에 대해 보다 상세히 설명하기로 한다. This will be described in more detail.

본 발명의 일 실시예에 따르면, 삼중심층망 기반 안개 제거 모델은 감독 손실과 자기-감독 손실을 모두 고려하여 갱신될 수 있다. According to an embodiment of the present invention, the tricentric layer network-based haze removal model may be updated by considering both supervised loss and self-supervised loss.

삼중심층망 기반 안개 제거 모델의 비용 함수는 평균 절대 오차와 지각 손실을 사용하여 정의될 수 있다. 이를 수학식으로 나타내면, 수학식 9 내지 수학식 11과 같이 나타낼 수 있다. The cost function of the tricentric layer network-based haze removal model can be defined using mean absolute error and perceptual loss. If this is expressed as an equation, it can be expressed as Equations 9 to 11.

여기서,

는 k-번째 VGG-16 특징맵을 나타낸다(도 6 참조). 도 6에 도시된 바와 같이, V1에서 V4 특징맵은 지각 손실을 정의하는데 사용될 수 있다. 특징맵 손실을 최소화하면 명확하고 세부적으로 개선된 결과를 얻을 수 있다.

는

놈-기반 전체 변동 손실(norm-based total variation loss)의 차수를 제어하기 위한 정규화 파라미터를 나타낸다. 예를 들어

로 설정될 수도 있다.

는 컨볼루션 커널의 매개변수와 정규화 함수를 포함한 각 FCN의 가중치를 나타낸다.

는 입력 데이터의 크기를 나타내고,

는

의 크기를 나타낸다. here,

denotes the k-th VGG-16 feature map (see FIG. 6). As shown in Fig. 6, feature maps V1 to V4 may be used to define perceptual loss. Minimizing the feature map loss can give clear and detailed improved results.

Is

Represents a regularization parameter for controlling the order of the norm-based total variation loss. for example

may be set to

represents the weight of each FCN including the parameters of the convolution kernel and the regularization function.

represents the size of the input data,

Is

represents the size of

감독 손실을

로 정의하면,

는 수학식 12와 같이 세가지 비용 함수로 정의할 수 있다. loss of supervision

If defined as

can be defined as three cost functions as shown in Equation 12.

감독 손실은 트레이닝 데이터 셋의 결과 영상 Y의 오류를 모방하기 때문에 도 7의 (e) 내지 (h)에서 보여지는 바와 같이 에러는 노이즈 및 후광과 같은 인공물로 나타낼 수 있다. Since the supervision loss mimics the error of the resulting image Y of the training data set, the error can be represented by artifacts such as noise and halos, as shown in (e) to (h) of FIG. 7 .

디스커넥션, 노이즈, 후광 문제와 같은 물리젝 모델의 불일치 에러를 해결하기 위해, 본 발명의 일 실시예에서는 감독 손실과 함게 자기-감독 손실을 고려하여 삼중심층망 안개 제거 모델을 갱신할 수 있다. In order to solve inconsistency errors of the physical object model, such as disconnection, noise, and halo problems, in an embodiment of the present invention, the tricentric layer network fog removal model may be updated by considering the self-supervised loss along with the supervision loss.

이에 대해 보다 상세히 설명하기로 한다. This will be described in more detail.

물리적 모델 기반 복원의 경우, 몇가지 중요한 조건이 충족되면, 자기-감독 학습 방법도 효과적일 수 있다. For physical model-based reconstruction, self-supervised learning methods can also be effective if several important conditions are met.

의 레티넥스(retinex) 모델에서 조도 맵(I)은 관찰 영상이 이상적인 내츄럴 영상일 때 이상적인 노출값을 가진다. 따라서, 입력 영상 I가

로 표시되는 이상적인 내츄럴 영상으로 대체되면 레티넥스 모델은 수학식 13과 같이 재작성될 수 있다.

In the retinex model of , the illuminance map (I) has an ideal exposure value when the observation image is an ideal natural image. Therefore, if the input image I is

When replaced with an ideal natural image represented by , the Retinex model can be rewritten as in Equation 13.

여기서,

는 이상적인 또는 노말한 조도 맵을 나타낸다. 따라서, 입력 영상

는 이상적으로 노출된 영상과 유사하며, 수학식 1에서 컨트라스트가 개선된 영상

은 수학식 14와 같이 나타낼 수 있다. here,

denotes an ideal or normal roughness map. Therefore, the input image

is similar to the ideally exposed image, and the image with improved contrast in Equation 1

can be expressed as in Equation 14.

안개 모델에 기반하여, 만일 관찰된 영상이 이상적인 감쇠를 가진다면,

이며, 감쇠 파라미터

이며, 해당 전송은

에 가까워진다. 결과적으로, 수학식 2의 디헤이즈된 영상은 수학식 15와 같이 재작성될 수 있다. Based on the fog model, if the observed image has ideal attenuation,

is the damping parameter

and the corresponding transmission is

get closer to As a result, the dehazed image of Equation 2 can be rewritten as Equation 15.

수학식 14와 수학식 15로부터

과

이 각각

와 같으므로, 두 영상의 퓨전된 결과 Y는

과 같다. From Equations 14 and 15

class

each of these

, so the fusion result Y of the two images is

Same as

따라서, 도 8에서 보여지는 이상적인 데이터 셋을 사용하면 자기-감독 항은 수학식 16 내지 수학식 18과 같이 나타낼 수 있다. Therefore, using the ideal data set shown in FIG. 8, the self-supervised terms can be expressed as Equations 16 to 18.

여기서,

및

는 각각 레티넥스, 안개 및 퓨전 모델의 손실을 나타낸다. here,

and

denotes the loss of the Retinex, Haze and Fusion models, respectively.

수학식 12와 유사하게 자기-감독 손실은 수학식 19와 같이 정의될 수 있다. Similar to Equation 12, the self-directed loss can be defined as Equation 19.

여기서,

는 자기-감독 손실을 나타낸다. 수학식 12의 감독 손실과 수학식 19의 자기-감독 손실은 갱신되는 가중치

를 분리함으로써 최소화될 수 있다. here,

represents the self-supervised loss. The supervised loss in Equation 12 and the self-supervised loss in Equation 19 are the updated weights.

can be minimized by isolating

따라서, 안개 제거 장치(1200)는 입력 영상(I)가 저하된 영상인지 또는 이상적인 영상인지에 따라 삼중심층망 기반 안개 제거 모델의 가중치를 다르게 갱신할 수 있다.Accordingly, the fog removal apparatus 1200 may update weights of the tricenter network-based fog removal model differently depending on whether the input image I is a degraded image or an ideal image.

예를 들어, 입력 영상(I)가 저하된 영상일 때, 가중치는 수학식 20과 같이 도출되며, 수학식 21과 같이 갱신될 수 있다. For example, when the input image I is a degraded image, the weight is derived as in Equation 20 and may be updated as in Equation 21.

반면, 입력 영상 I가 이상적인 영상

이면, 가중치는 수학식 22와 정의되며, 수학식 23과 같이 갱신될 수 있다. On the other hand, the input image I is an ideal image.

, the weight is defined in Equation 22 and can be updated as in Equation 23.

여기서,

는 삼중심층망 모델의 자기-감독 변동을 제어한다.

가 크면, 후광 인공물과 같은 물리적 에러를 제거할 수 있다. 반면, 매우 큰

는 도 10에서 보여지는 바와 같이, 에지 정보와 로컬-컨트라스트 저하를 초래할 수 있다. here,

controls the self-supervised variance of the tricentric layer network model.

When is large, physical errors such as halo artifacts can be eliminated. On the other hand, very large

may result in edge information and local-contrast degradation, as shown in FIG. 10 .

본 발명의 일 실시예에서는 실험적으로

로 설정하였으나,

의 값은 구현 방법에 따라 상이해질 수 있음은 당연하다.In one embodiment of the present invention, experimentally

was set to

It is natural that the value of may be different depending on the implementation method.

도 7의 (i) 내지 (j)에서 보여지는 바와 같이, 본 발명의 일 실시예에 따른 삼중심층망 모델은

와

사이의 색상 분포 차이가 발생한다. As shown in (i) to (j) of FIG. 7, the tricenter layer network model according to an embodiment of the present invention

and

There is a difference in color distribution between

따라서, 도 7의 (l)에서 보여지는 바와 같이, 결과가 후광 인공물에 영향을 받게 된다. 이를 해결하기 위해, 본 발명의 일 실시예에서는 적대적 신경망 모델을 적용하여 이상적인 영상(

)와 출력 영상 사이의 차이(divergence)을 줄일 수 있다. Therefore, as shown in Fig. 7(l), the result is affected by halo artifacts. In order to solve this problem, in one embodiment of the present invention, an adversarial neural network model is applied to an ideal image (

) and the output image can be reduced.

본 발명의 일 실시예에서는 최소 제곱 모델을 이용하여 적대적 비용(손실)을 계산할 수 있다. 이를 수학식으로 나타내면, 수학식 24 및 수학식 25와 같이 계산될 수 있다. In one embodiment of the present invention, an adversarial cost (loss) may be calculated using a least squares model. Expressing this as an equation, it can be calculated as in Equations 24 and 25.

본 발명의 일 실시예에 따른 판별 모델부(1220)는 삼중심층망 안개 제거 모델의 후단에 연결되며, 4개의 컨볼루션 레이어와 2개의 완전 연결 레이어로 구성될 수 있다. 안개 제거 장치(1200)는 판별 모델부(1220)를 통해 적대적 손실을 최소화함으로써 감독 손실 및 자기-감독 손실만 고려하여 삼중심층망 안개 제거 모델을 갱신하는 것보다 강인한 영상을 생성할 수 있다. The discrimination model unit 1220 according to an embodiment of the present invention is connected to the rear end of the tricentric layer network fog removal model, and may be composed of 4 convolutional layers and 2 fully connected layers. By minimizing the adversarial loss through the discrimination model unit 1220, the fog removal apparatus 1200 may generate an image that is more robust than updating the tricenter layer network fog removal model by considering only the supervised loss and the self-supervised loss.

이러한 본 발명의 이중 감독 학습 과정을 도식화하면 도 9에 도시된 바와 같다. The diagram of the dual supervised learning process of the present invention is as shown in FIG. 9 .

도 11은 종래와 본 발명의 일 실시예에 따른 디헤이징 결과를 비교한 영상이다. 도 11의 (b)와 (c)에서 보여지는 바와 같이 종래의 디헤이징 기법은 음영 영역에서 강도 저하가 심한 것을 알 수 있다. 그러나, 본 발명의 일 실시예에 따른 디헤이징 방법은 도 11의 (d)에서 보여지는 바와 같이, 안개를 제거할 뿐만 아니라 강도가 저하된 영역을 향상시키는 것을 알 수 있다. 11 is an image comparing dehazing results according to the prior art and an embodiment of the present invention. As shown in (b) and (c) of FIG. 11 , it can be seen that the conventional dehazing technique has a severe decrease in intensity in the shaded area. However, as shown in FIG. 11(d), the dehazing method according to an embodiment of the present invention not only removes fog but also improves areas with reduced strength.

도 12는 본 발명의 일 실시예에 따른 안개 제거 장치의 구성을 개략적으로 도시한 블록도이다. 12 is a block diagram schematically showing the configuration of a fog removal device according to an embodiment of the present invention.

도 12를 참조하면, 본 발명의 일 실시예에 따른 안개 제거 장치(1200)는 삼중심층망 기반 안개 제거 모델부(1210), 판별 모델부(1220), 학습부(1230), 메모리(1240) 및 프로세서(1250)를 포함하여 구성된다. Referring to FIG. 12, the fog removal device 1200 according to an embodiment of the present invention includes a tricentric layer network-based fog removal model unit 1210, a discrimination model unit 1220, a learning unit 1230, and a memory 1240. and a processor 1250.

삼중심층망 기반 안개 제거 모델부(1210)는 트레이닝 데이터 셋을 이용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 제1 영상과 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력한다. The tricentric layer network-based fog removal model unit 1210 generates a first image with improved contrast and a second image with fog removed using the training data set, respectively, and uses the first image and the second image to generate a degraded image. Output the integrated result image by referring to the region.

판별 모델부(1220)는 삼중심층망 기반 안개 제거 모델부(1210)의 후단에 연결되며, 상기 결과 영상이 상기 트레이닝 데이터 셋에 포함된 이상적인 영상(ideal image)과 확률적으로 같아지도록 적대적 손실을 계산하기 위한 수단이다. The discrimination model unit 1220 is connected to the rear end of the tricenter layer network-based fog removal model unit 1210, and performs an adversarial loss so that the resulting image is probabilistically equal to the ideal image included in the training data set. It is a means for calculating

학습부(1230)는 트레이닝 데이터 셋의 일부와 제1 영상, 제2 영상 및 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 삼중심층망 기반 안개 제거 모델을 갱신하여 학습시키기 위한 수단이다. The learning unit 1230 is a means for updating and training a tricentric layer network-based haze removal model in consideration of double supervised loss and adversarial loss based on a part of the training data set, the first image, the second image, and the resulting image.

삼중심층망 기반 안개 제거 모델부(1210), 판별 모델부(1220), 학습부(1230)의 상세 동작에 대해서는 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다. Since the detailed operations of the tricentric layer network-based fog removal model unit 1210, the discrimination model unit 1220, and the learning unit 1230 are the same as those described in FIG. 1, overlapping descriptions will be omitted.

메모리(1240)는 본 발명의 일 실시예에 따른 삼중심층망 기반 안개 제거 방법을 수행하기 위해 필요한 명령어들을 저장하기 위한 수단이다. The memory 1240 is a means for storing commands necessary to perform the method for removing fog based on a tri-center layer network according to an embodiment of the present invention.

프로세서(1250)는 본 발명의 일 실시예에 따른 안개 제거 장치(1200)의 내부 구성 요소들(예를 들어, 삼중심층망 기반 안개 제거 모델부(1210), 판별 모델부(1220), 학습부(1230), 메모리(1240) 등)을 제어하기 위한 수단이다. The processor 1250 includes internal components of the fog removal device 1200 according to an embodiment of the present invention (eg, a tricenter network-based fog removal model unit 1210, a discrimination model unit 1220, and a learning unit). 1230, memory 1240, etc.).

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Devices and methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in computer readable media. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on a computer readable medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art in the field of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - Includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

1200: 안개 제거 장치
1210: 삼중심층망 기반 안개 제거 모델부
1220: 판별 모델부
1230: 학습부
1240: 메모리
1250: 프로세서1200: fog removal device
1210: Fog removal model unit based on tricentric layer network
1220: discrimination model unit
1230: learning unit
1240: memory
1250: processor

Claims (13)

데이터 셋을 삼중심층망 기반 안개 제거 모델에 적용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 상기 제1 영상과 상기 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력하는 단계; 및
상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신시키는 단계를 포함하되,
상기 갱신시키는 단계는,
상기 데이터 셋에 포함된 이상적인 영상과 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 자기-감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신되는 것을 특징으로 하는 삼중심층망 기반 안개 제거 방법.
The data set is applied to the tricentric layer network-based haze removal model to generate a first image with improved contrast and a second image with fog removed, respectively, and refer to the degraded region using the first image and the second image outputting an integrated result image; and
Updating the tricentric layer network-based haze removal model by considering double supervised loss and adversarial loss based on a part of the data set and the first image, the second image, and the resulting image,
The updating step is
The three-center layer network-based haze removal model is updated so that self-supervised loss in which the mean square error and perceptual loss are reflected using the ideal image included in the data set, the first image, the second image, and the resulting image are minimized A tricentric layer network-based fog removal method, characterized in that.
제1 항에 있어서,
상기 삼중심층망 기반 안개 제거 모델은,
상기 데이터 셋에 포함된 입력 영상의 컨트라스트를 개선하여 상기 제1 영상을 출력하는 조도 개선 모델부;
상기 입력 영상의 안개를 제거하여 상기 제2 영상을 출력하는 디헤이징 모델부; 및
상기 제1 영상과 상기 제2 영상을 6-채널 영상으로 취하여 통합한 후 저하된 영역을 추정하고, 상기 추정된 영역을 이용하여 상기 제1 영상과 상기 제2 영상을 통합한 상기 결과 영상을 출력하는 영역 기반 모델부를 포함하되,
상기 조도 개선 모델부, 상기 디헤이징 모델부 및 상기 영역 기반 모델부는 복수의 콘볼루션 레이어과 정규화 레이어를 가지는 것을 특징으로 하는 삼중심층망 기반 안개 제거 방법.
According to claim 1,
The tricentric layer network-based fog removal model,
an illuminance improvement model unit for outputting the first image by improving the contrast of the input image included in the data set;
a dehazing model unit outputting the second image by removing haze from the input image; and
After taking the first image and the second image as a 6-channel image and integrating them, a degraded area is estimated, and the resultant image obtained by integrating the first and second images is output using the estimated area. Including a region-based model unit that does,
Wherein the illumination enhancement model unit, the dehazing model unit, and the region-based model unit have a plurality of convolution layers and normalization layers.
제1 항에 있어서,
상기 결과 영상을 판별하는 판별 모델(discriminator model)을 더 포함하되,
상기 판별 모델은
상기 결과 영상이 상기 데이터 셋에 포함된 이상적인 영상(ideal image)과 확률적으로 같아지도록 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신하여 학습시키는 것을 특징으로 하는 삼중심층망 기반 안개 제거 방법.
According to claim 1,
Further comprising a discriminator model for discriminating the resulting image,
The discrimination model is
Characterized in that the tricenter layer network-based fog removal model is updated and learned in consideration of the hostile loss so that the resulting image is probabilistically equal to an ideal image included in the data set. method.
삭제delete 삭제delete 제1 항에 있어서,
입력 영상이 화질 저하된 영상인 경우, 상기 감독 손실을 고려한 가중치는 하기 수학식과 같이 갱신되는 것을 특징으로 하는 삼중심층망 기반 안개 제거 방법.

여기서,

는 감독 손실을 나타내며,

이되,
상기

,

,

는 각각, 제1 영상, 제2 영상 및 결과 영상과 트레이닝 데이터 셋의 일부에 의한 평균 절대 오차와 지각 손실을 고려한 비용 함수를 나타냄.
According to claim 1,
When the input image is a degraded image, the weight considering the supervision loss is updated as in the following equation.

here,

represents the supervision loss,

Become
remind

,

,

denotes a cost function considering the average absolute error and perceptual loss of the first image, the second image, the resulting image, and a portion of the training data set, respectively.
제1 항에 있어서,
입력 영상이 이상적인 영상인 경우, 상기 자기-감독 손실을 고려한 가중치는 하기 수학식과 같이 갱신되는 것을 특징으로 하는 삼중심층망 기반 안개 제거 방법.

여기서,

는 자기-감독 손실을 나타내며,

,

,

는 각각 제1 영상, 제2 영상 및 결과 영상과 이상적인 영상간의 평균 절대 오차와 지각 손실을 고려한 비용 함수를 나타냄.
According to claim 1,
When the input image is an ideal image, the weights considering the self-directed loss are updated as in the following equation.

here,

denotes the self-directed loss,

,

,

Represents a cost function considering average absolute error and perceptual loss between the first image, the second image, and the resulting image and the ideal image, respectively.
제1 항 내지 제3항, 제6항 내지 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
A computer-readable recording medium recording program codes for performing the method according to any one of claims 1 to 3 and 6 to 7.
데이터 셋을 이용하여 컨트라스트가 개선된 제1 영상, 안개가 제거된 제2 영상을 각각 생성하고, 상기 제1 영상과 상기 제2 영상을 이용하여 저하된 영역을 참조하여 통합된 결과 영상을 출력하는 삼중심층망 기반 안개 제거 모델부; 및
상기 데이터 셋의 일부와 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 기반으로 이중 감독 손실과 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델부를 갱신시키는 학습부를 포함하되,
상기 학습부는,
상기 데이터 셋에 포함된 이상적인 영상과 상기 제1 영상, 상기 제2 영상 및 상기 결과 영상을 이용한 평균 제곱 오차와 지각 손실이 반영된 자기-감독 손실이 최소가 되도록 상기 삼중심층망 기반 안개 제거 모델이 갱신되는 것을 특징으로 하는 삼중심층망 기반 안개 제거 장치.
Generating a first image with improved contrast and a second image with fog removed using a data set, respectively, and outputting an integrated result image by referring to a degraded area using the first image and the second image Fog removal model unit based on tricentric layer network; and
A learning unit for updating the tricenter layer network-based fog removal model unit in consideration of double supervised loss and adversarial loss based on a part of the data set and the first image, the second image, and the resulting image,
The learning unit,
The three-center layer network-based haze removal model is updated so that self-supervised loss in which the mean square error and perceptual loss are reflected using the ideal image included in the data set, the first image, the second image, and the resulting image are minimized A tricenter layer network-based fog removal device, characterized in that being.
제9 항에 있어서,
상기 삼중심층망 기반 안개 제거 모델부는,
상기 데이터 셋에 포함된 입력 영상의 컨트라스트를 개선하여 상기 제1 영상을 출력하는 조도 개선 모델부;
상기 입력 영상의 안개를 제거하여 상기 제2 영상을 출력하는 디헤이징 모델부; 및
상기 제1 영상과 상기 제2 영상을 6-채널 영상으로 취하여 통합한 후 저하된 영역을 추정하고, 상기 추정된 영역을 이용하여 상기 제1 영상과 상기 제2 영상을 통합한 상기 결과 영상을 출력하는 영역 기반 모델부를 포함하되,
상기 조도 개선 모델부, 상기 디헤이징 모델부 및 상기 영역 기반 모델부는 복수의 콘볼루션 레이어과 정규화 레이어를 가지는 것을 특징으로 하는 삼중심층망 기반 안개 제거 장치.
According to claim 9,
The tricentric layer network-based fog removal model unit,
an illuminance improvement model unit for outputting the first image by improving the contrast of the input image included in the data set;
a dehazing model unit outputting the second image by removing haze from the input image; and
After taking the first image and the second image as a 6-channel image and integrating them, a degraded area is estimated, and the resulting image obtained by integrating the first and second images is output using the estimated area. Including a region-based model unit that does,
The illumination improvement model unit, the dehazing model unit, and the region-based model unit have a plurality of convolution layers and normalization layers.
제9 항에 있어서,
상기 삼중심층망 기반 안개 제거 모델부의 후단에 연결되며, 상기 결과 영상을 판별하는 판별 모델(discriminator model)을 더 포함하되,
상기 판별 모델은
상기 결과 영상이 상기 데이터 셋에 포함된 이상적인 영상(ideal image)과 확률적으로 같아지도록 적대적 손실을 고려하여 상기 삼중심층망 기반 안개 제거 모델을 갱신하여 학습시키는 것을 특징으로 하는 삼중심층망 기반 안개 제거 장치.
According to claim 9,
It is connected to the rear end of the tricenter layer network-based fog removal model unit and further includes a discriminator model for discriminating the resulting image,
The discrimination model is
Characterized in that the tricenter layer network-based fog removal model is updated and learned in consideration of the hostile loss so that the resulting image is probabilistically equal to an ideal image included in the data set. Device.
삭제delete 삭제delete

Images