KR20180050832A - Method and system for dehazing image using convolutional neural network - Google Patents
Method and system for dehazing image using convolutional neural network Download PDFInfo
- Publication number
- KR20180050832A KR20180050832A KR1020160147352A KR20160147352A KR20180050832A KR 20180050832 A KR20180050832 A KR 20180050832A KR 1020160147352 A KR1020160147352 A KR 1020160147352A KR 20160147352 A KR20160147352 A KR 20160147352A KR 20180050832 A KR20180050832 A KR 20180050832A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- ambient light
- estimating
- transmission amount
- scale
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
아래의 설명은 화질이 저하된 영상을 처리하는 기술에 관한 것이다.The following description relates to a technique for processing an image with degraded image quality.
해양 공학 분야에서는 수중 환경에서 고해상도 컬러 이미지를 촬영하는 많은 어플리케이션을 가진다. 심해에서 높은 품질의 이미지는 다양한 수중 현상을 연구하는 과학자들에게 매우 유용하다. 카메라 기술의 눈부신 발전에도 불구하고 높은 품질의 수중 이미지 획득은 여전히 풀리지 않는 문제로 남아 있다.Marine engineering has many applications for shooting high resolution color images in underwater environments. High-quality images in the deep sea are very useful for scientists studying various underwater phenomena. Despite the spectacular advances in camera technology, the acquisition of high-quality underwater images remains a challenge.
물 입자에 의한 빛의 산란과 감쇠, 환경광(외부 광원을 포함한)의 상이한 파장의 색 변화는 수중에서 촬영된 이미지에 헤이즈(haze) 효과를 일으킨다. 수중 화면의 선명한 사진이 가시화 될 수 있기 위해서는 이러한 헤이즈 효과가 제거될 필요가 있다.The scattering and attenuation of light by water particles and the color change of different wavelengths of ambient light (including external light sources) cause a haze effect on images taken in the water. This haze effect needs to be eliminated so that a clear picture of the underwater picture can be visualized.
사전 정보(prior information)로부터 헤이즈 효과를 제거하기 위한 여러 가지 기술이 제안되고 있으며, 헤이즈 효과를 제거하는 기술의 일례로서, 한국공개특허 제10-2014-0142381호(공개일 2014년 12월 12일)에는 안개가 포함되어 화질이 저하된 영상을 개선하는 기술이 개시되어 있다.Various techniques for eliminating the haze effect from prior information have been proposed. As an example of a technique for eliminating the haze effect, Korean Patent Laid-Open No. 10-2014-0142381 (published on December 12, 2014 ) Discloses a technique for improving an image in which a fog is included to deteriorate the image quality.
공통된 컨볼루션 네트워크 아키텍처(common convolutional network architecture)를 통해 수중 이미지의 환경광(ambient light)과 전달량(transmission)을 효과적으로 추정하여 수중 이미지를 디헤이징 처리하는 방법 및 시스템을 제공한다.A method and system for de-imaging underwater images by effectively estimating the ambient light and transmission of an underwater image through a common convolutional network architecture.
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 방법에 있어서, CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및 상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 단계를 포함하는 이미지 디헤이징 방법을 제공한다.A computer-implemented image dehazing method comprising: estimating a transmission map and an ambient light in an input image using a CNN (convolutional neural network) model; And generating a de-image-reconstructed image in the input image based on the amount of transmission and the ambient light.
일 측면에 따르면, 상기 추정하는 단계는, 상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 추정하는 것으로, 상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 단계를 포함할 수 있다.According to an aspect of the present invention, the estimating step includes estimating the amount of light and the ambient light by using a common model structure corresponding to the CNN model, wherein the CNN model fixes either the amount of the light or the ambient light And training the other one.
다른 측면에 따르면, 상기 추정하는 단계는, 상기 입력 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 입력 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정할 수 있다.According to another aspect, the estimating step includes a multi-scale fusion stage for dimension reduction of the input image, a multi-scale fusion stage for extracting haze- A CNN model including a multi-scale feature extraction stage, a nonlinear regression stage for estimating the amount of the environment light, and the like, can be estimated.
또 다른 측면에 따르면, 상기 멀티-스케일 융합 단계는 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성될 수 있다.According to another aspect, the multi-scale convergence step may be composed of a plurality of convolution layers having different size filters.
또 다른 측면에 따르면, 상기 멀티-스케일 융합 단계에서는 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행할 수 있다.According to another aspect, in the multi-scale convergence step, an element-wise summation operation of a pixel can be performed in the last step.
또 다른 측면에 따르면, 상기 멀티-스케일 특성 추출 단계는 상기 입력 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer)로 구성될 수 있다.According to another aspect, the multi-scale characteristic extraction step includes a maximum unit for extracting a characteristic in a depth direction of the input image, at least one convolution for extracting a haze- Layer (convolution layer).
또 다른 측면에 따르면, 상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가진다.According to another aspect, each of the convolution layers has a Reactive Linear Unit (ReLU) activation function.
또 다른 측면에 따르면, 상기 멀티-스케일 특성 추출 단계는 상기 컨볼루션 레이어 다음으로 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성될 수 있다.According to another aspect, the multi-scale characteristic extracting step may be configured as a max-pooling layer for extracting characteristics that are not spatially changed after the convolution layer.
또 다른 측면에 따르면, 상기 비선형 회귀 단계는 컨볼루션 레이어(convolution layer)가 단일 필터로 구성될 수 있다.According to another aspect, in the nonlinear regression step, the convolution layer may be composed of a single filter.
또 다른 측면에 따르면, 상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가될 수 있다.According to another aspect, a ReLU (Rectified Linear Unit) layer may be added after the convolution layer.
또 다른 측면에 따르면, 상기 생성하는 단계는, 수학식 1을 통해 상기 복원 영상을 생성할 수 있다.According to still another aspect, the generating step may generate the restored image through Equation (1).
수학식 1:Equation (1)
(여기서, 
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 방법에 있어서, 수중 환경에서 촬영된 수중 이미지에 대하여 공통된 학습 모델을 통해 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및 상기 전달량과 상기 환경광을 이용하여 상기 수중 이미지를 디헤이즈(dehaze) 하는 단계를 포함하는 이미지 디헤이징 방법을 제공한다.A computer-implemented image dehazing method comprising: estimating a transmission map and an ambient light through a common learning model for underwater images taken in an underwater environment; And dehazing the underwater image using the transmission amount and the ambient light.
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 시스템에 있어서, 상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정한 후, 상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 것을 특징으로 하는 이미지 디헤이징 시스템을 제공한다.CLAIMS What is claimed is: 1. A computer implemented image dehazing system, comprising: at least one processor configured to execute instructions readable by the computer, wherein the at least one processor uses a convolutional neural network (CNN) Estimates a transmission map of light and an ambient light in an input image, and generates a de-rendered reconstructed image in the input image based on the transmission amount and the ambient light. Image de-imaging system.
본 발명의 실시예들에 따르면, 공통된 컨볼루션 네트워크 아키텍처를 이용하여 수중 이미지의 환경광과 전달량을 효과적으로 추정할 수 있고 환경광과 함께 전달량을 이용하여 수중 이미지를 디헤이징 처리함으로써 수중 이미지의 품질을 향상시킬 수 있다.According to embodiments of the present invention, it is possible to effectively estimate the ambient light and transmission amount of an underwater image using a common convolution network architecture, and to de-hase an underwater image using the amount of transmission along with ambient light, Can be improved.
본 발명의 실시예들에 따르면, 수중 이미지의 복원 시 발생하는 색상 왜곡을 보정하기 위해 보정 환경광을 적용함으로써 수중 이미지의 색상 왜곡을 최소화 할 수 있다.According to embodiments of the present invention, color distortion of an underwater image can be minimized by applying a correction environment light to correct color distortion that occurs upon restoration of an underwater image.
도 1은 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징을 위한 CNN 아키텍처를 도시한 것이다.
도 2 내지 도 4는 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징 과정을 설명하기 위한 예시 도면이다.1 illustrates a CNN architecture for de-imaging underwater images in an embodiment of the present invention.
FIGS. 2 to 4 are exemplary diagrams illustrating a de-imaging process of an underwater image according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
수중 이미지는 빛의 흡수와 산란 등으로 헤이즈 효과가 나타나며 결국 가시성이 떨어지게 된다. 이에, 수중 로봇, 수중 감시 시스템 등을 위한 수중 이미지의 영상 개선, 즉 디헤이징이 필요하다.Underwater images have a haze effect due to the absorption of light and scattering and eventually the visibility drops. Therefore, it is necessary to improve the image of underwater images for underwater robots and underwater surveillance systems, that is, de-imaging.
본 발명의 실시예들은 수중 이미지를 복원하는 방법으로 CNN(convolutional neural network)을 사용하여 환경광과 전달량을 추정하고 이를 이용하여 효과적으로 헤이즈 효과를 제거할 수 있는 방법 및 시스템에 관한 것이다.Embodiments of the present invention relate to a method and system for estimating ambient light and transmission amount using a CNN (Convolutional Neural Network) as a method for reconstructing an underwater image and effectively removing a haze effect using the estimation.
본 발명에서는 헤이즈-프리 이미지(haze-free image)와 환경광의 가중치 합으로 헤이즈 이미지를 표현하는 헤이즈 모델인 대기 산란 모델(atmospheric scattering model)을 사용할 수 있다.In the present invention, an atmospheric scattering model, which is a haze model expressing a haze image by a weight sum of a haze-free image and an ambient light, can be used.
픽셀 (x)에 대하여 헤이즈된 픽셀 값 I(x)은 수학식 1과 같이 모델링 될 수 있다.The pixel value I (x), which is hatched with respect to the pixel x, can be modeled as shown in Equation (1).
[수학식 1][Equation 1]
I(x)=J(x)T(x)+A(1-T(x))I (x) = J (x) T (x) + A (1 - T (x)
여기서, I는 헤이즈 이미지, J는 원본 이미지(scene radiance), A는 환경광, T는 빛의 전달량을 의미할 수 있다.Where I is the haze image, J is the scene radius, A is the ambient light, and T is the amount of light transmitted.
임의의 픽셀에서 전달량 T(x)는 수학식 2와 같이 도달된 빛의 거리에 대하여 지수적으로 감소한다.The transmission amount T (x) at any pixel decreases exponentially with respect to the distance of the light reached as shown in Equation (2).
[수학식 2]&Quot; (2) "
T(x)=e-βd(x) T (x) = e -? D (x)
여기서, d(x)는 장면 포인트의 심도, β는 매질의 감쇠계수를 의미한다.Here, d (x) denotes the depth of scene point and? Denotes the damping coefficient of the medium.
원본 이미지 J는 빛의 흡수와 산란으로 인해 빛의 전달량이 줄어들고 환경광의 영향은 증가하여 결국 가시성이 떨어진 영상 I로 나타나게 된다. 따라서, 환경광 A와 전달량 T를 추정하면 영상 개선이 가능하다.In the original image J, due to the absorption and scattering of light, the amount of light is reduced, and the influence of the ambient light is increased, resulting in the image I having low visibility. Therefore, it is possible to improve the image by estimating the ambient light A and the transmission amount T.
본 발명에서는 딥러닝 기법의 일종인 CNN을 이용하여 빛의 전달량 T와 환경광 A를 추정할 수 있고, 추정된 전달량 T와 환경광 A를 수중 이미지를 복원하는데 사용할 수 있다.In the present invention, the light transmission amount T and the ambient light A can be estimated using the CNN, which is one type of deep-drawing technique, and the estimated transmission amount T and the ambient light A can be used for reconstructing underwater images.
도 1은 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징을 위한 CNN 아키텍처를 도시한 것이다.1 illustrates a CNN architecture for de-imaging underwater images in an embodiment of the present invention.
본 발명에 따른 CNN 아키텍처는 세 단계(S1~S3)의 네트워크 전달 구조, 즉 멀티-스케일 융합 단계(multi-scale fusion stage)(S1), 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage)(S2), 비선형 회귀 단계(nonlinear regression stage)(S3)로 이루어질 수 있으며, 이러한 공통된 모델 구조를 이용하여 수중 이미지의 복원을 위한 환경광 A와 전달량 T를 추정할 수 있다.The CNN architecture according to the present invention includes a network delivery structure of three stages S1 to S3, namely, a multi-scale fusion stage S1, a multi-scale feature extraction stage, (S2), and a nonlinear regression stage (S3). Using this common model structure, it is possible to estimate the ambient light A and the transmission amount T for reconstruction of underwater images.
첫 번째 단계인 멀티-스케일 융합 단계(S1)에서는 차원 축소를 위해 픽셀의 엘리먼트-와이즈 합(element-wise summation)을 사용할 수 있다. 이 방법은 각 레이어에 보다 많은 특성 맵(feature maps)을 생성할 수 있게 하여 트레이닝 정확성을 향상시킬 수 있다.In the first step, the multi-scale convergence step S1, an element-wise summation of pixels can be used for dimension reduction. This method can generate more feature maps for each layer, which can improve training accuracy.
환경광 A와 전달량 T를 동일한 네트워크 아키텍처에서 추정하게 되므로 환경광 A와 전달량 T 중 어느 하나의 특정 변수를 트레이닝 하는 동안에는 다른 하나의 값을 고정시킬 필요가 있다.Since the environment light A and the transmission amount T are estimated in the same network architecture, it is necessary to fix the other value during the training of the specific variable of the ambient light A and the transmission amount T.
본 발명에 따른 CNN 아키텍처의 각 단계를 상세히 설명하면 다음과 같다.Each step of the CNN architecture according to the present invention will be described in detail as follows.
1) 본 발명에 따른 CNN 아키텍처 첫 번째 단계(S1)는 단일 이미지 디헤이징을 포함한 이미지 향상을 위해 널리 사용되는 멀티-스케일 융합 레이어이다. 일례로, 멀티-스케일 융합 단계(S1)에서는 3개의 평행하는 컨볼루션 레이어(convolution layer)(110)를 사용하는데, 예를 들어 컨볼루션 레이어(110) 각각은 [3×3×32], [5×5×32], [7×7×32] 사이즈의 필터를 가질 수 있다.1) The first step S1 of the CNN architecture according to the present invention is a multi-scale fusion layer widely used for image enhancement including single image de-imaging. For example, in the multi-scale convergence step S1, three parallel convolution layers 110 are used. For example, each of the convolution layers 110 may be [3 x 3 x 32], [ 5 x 5 x 32], and [7 x 7 x 32] size.
멀티-스케일 융합 단계(S1)에서는 변수의 불확실성을 줄이기 위해 기존 CNN 모델(예컨대, DehazeNet)보다 더 많은 수의 특성 맵을 선택할 수 있다. 멀티-스케일 레이어들을 쌓기만(only stacks up) 하는 기존 방식과는 달리, 멀티-스케일 융합 단계(S1)의 마지막 과정에서 엘리먼트-와이즈 합 연산을 수행할 수 있다. 멀티-스케일 레이어를 합산하는 것은 이후 단계(S2 내지 S3)에서 계산의 복잡성을 줄이고자 하기 위함이다.In the multi-scale convergence step S1, a greater number of characteristic maps can be selected than existing CNN models (e.g., DehazeNet) to reduce the uncertainty of the variables. Unlike the conventional method of stacking up multi-scale layers only, it is possible to perform an element-wise sum operation at the end of the multi-scale convergence step S1. The sum of the multi-scale layers is intended to reduce the complexity of the calculations in the subsequent steps S2 to S3.
2) 멀티-스케일 특성 추출 단계(S2)에서는 단일 이미지 디헤이즈의 불량 조건(ill-posed)을 처리하기 위해 헤이즈 이미지의 속성과 밀접하게 관련된 다양한 기능을 포함할 수 있다. 예를 들어, 다크채널(dark channel)에서는 색상 불일치와 RGB 채널 불일치가 헤이즈-관련 특성으로서 사용될 수 있다. 따라서, 두 번째 단계(S2)는 헤이즈-관련 특성들을 추출하기 위한 과정으로 설계될 수 있다. 일례로, 멀티-스케일 특성 추출 단계(S2)는 최대(maxout) 유닛(121), ReLU(Rectified Linear Unit) 활성화 기능을 가진 두 개의 컨볼루션 레이어(122), 최대-풀링(max-pooling) 레이어(123)로 구성될 수 있다.2) In the multi-scale characteristic extraction step S2, various functions closely related to the attribute of the haze image may be included in order to process the ill-posed of the single image de-haze. For example, in a dark channel, color mismatches and RGB channel mismatches can be used as haze-related characteristics. Therefore, the second step S2 may be designed as a process for extracting the haze-related characteristics. For example, the multi-scale characteristic extraction step S2 includes a
멀티-스케일 특성 추출 단계(S2)에서 최대 유닛(121)은 입력 데이터의 심도 방향에서 특성들을 찾기 위해 사용될 수 있다. 최대 유닛(121) 이후 사이즈가 [3×3×32]인 필터를 가진 두 개의 컨볼루션 레이어(122)를 사용할 수 있다. 마지막으로, 공간적으로 변하지 않는 특성을 얻기 위해 최대-풀링 레이어(123)가 사용될 수 있다. 일반적으로 최대-풀링 레이어는 로컬 감도를 극복하고 기존 CNN에 특성 맵의 해상도를 감소시키기 위해 사용된다. 그러나, 본 발명에서는 최대-풀링 레이어(123)를 해상도의 손실을 예방하기 위한 과정으로 적용할 수 있으며, 이를 통해 이미지 복원을 위한 CNN의 사용을 달성할 수 있고 복원 이미지의 목표 해상도를 달성할 수 있다.In the multi-scale characteristic extraction step S2, the
3) 본 발명에 따른 CNN 아키텍처에서 마지막 단계는 환경광 A와 전달량 T의 추정을 위한 비선형 회귀 단계(S3)로 구성될 수 있다. 다시 말해, 마지막 단계(S3)는 환경광 A와 전달량 T의 추정을 수행하는 비선형 회귀 레이어이다. 비선형 회귀 단계(S3)는 ReLU을 포함하는 컨볼루션 레이어(130)로 구성될 수 있다. 비선형 회귀 단계(S3)에서 사용되는 컨볼루션 레이어(130)는 사이즈가 [3×3×32]인 단일 필터로 구성될 수 있다. 트레이닝 단계 동안의 수렴 속도 저하와 로컬 최소 문제를 방지하기 위해 ReLU 레이어를 컨볼루션 레이어(130)의 뒤에 추가할 수 있다.3) In the CNN architecture according to the present invention, the final step may be a non-linear regression step S3 for estimating the ambient light A and the transmission amount T. In other words, the last step S3 is a nonlinear regression layer for performing estimation of the ambient light A and the transmission amount T. The nonlinear regression step S3 may consist of a
따라서, 도 1을 통해 설명한 공통된 CNN 모델을 이용하여 수중 이미지의 복원을 위한 환경광 A와 전달량 T를 추정할 수 있다. 본 발명에서는 환경광 A와 전달량 T를 추정함으로써 디헤이징뿐 아니라 수중 이미지에서의 색상 왜곡 현상 또한 제거할 수 있다.Therefore, the ambient light A and the transmission amount T for restoration of the underwater image can be estimated using the common CNN model described with reference to FIG. In the present invention, not only the de-hiding but also the color distortion phenomenon in the underwater image can be removed by estimating the ambient light A and the transmission amount T. [
CNN 트레이닝 과정을 설명하면 다음과 같다.The CNN training process is described as follows.
1) 트레이닝 데이터: CNN의 트레이닝은 헤이즈 이미지 패치와 이에 대응하는 헤이즈-프리 정보 쌍(예를 들어, 환경광 A와 전달량 T)을 필요로 한다. CNN 아키텍처의 트레이닝을 위해 수학식 1의 헤이즈 모델 방정식을 사용하고 헤이즈-프리 이미지 패치로부터 헤이즈 된 패치를 합성한다. 일례로, 랜덤 전달량 t∈(0,1)과 랜덤 환경광 A∈(0,1)을 헤이즈-프리 이미지 패치에 적용하고 전달량과 환경광은 이미지 패치에서의 지역적 상수라고 가정한다. 수중 이미지에 대해 랜덤한 환경광을 사용하는 것은 일반적으로 수중 환경에 대해서 바람직하고, 이러한 방식에서 생성된 데이터 세트는 색상 왜곡을 가지는 헤이즈 이미지 상에서 보다 정확한 전달량 추정이 가능하다. 랜덤 전달량과 랜덤 환경광을 가지는 헤이즈-프리 이미지 패치로부터 많은 수의 헤이즈 이미지 패치를 만들어 낼 수 있다. 이러한 트레이닝 데이터 세트는 도 1을 통해 설명한 CNN 아키텍처를 학습하는데 사용될 수 있다.1) Training Data: CNN training requires a haze image patch and a corresponding pair of haze-free information (e.g., ambient light A and traffic T). We use the haze model equation of Equation (1) for training the CNN architecture and synthesize the hazed patches from the haze-free image patches. For example, we apply a random transfer t ∈ (0,1) and a random environment light A ∈ (0,1) to a haze-free image patch and assume that the traffic and ambient light are local constants in the image patch. The use of random ambient light for an underwater image is generally desirable for underwater environments, and a data set generated in this manner allows a more accurate amount of transmission to be estimated on a haze image with color distortion. A large number of haze image patches can be generated from the random-dose and random-environment haze-free image patches. This training data set can be used to learn the CNN architecture described in FIG.
2) 트레이닝 방법: CNN 모델에서 헤이즈 이미지 패치와 라벨 데이터(예를 들어, 환경광 값과 전달량 값) 사이에 지도 학습(supervised learning) 메커니즘을 사용할 수 있다. CNN 모델의 필터 가중치는 손실 함수를 최소화 함으로써 학습될 수 있다. 헤이즈 이미지 패치와 그에 대응하는 라벨의 쌍을 감안하여 평균 제곱 오차(MSE)를 손실 함수로 사용할 수 있다. 손실 함수는 수학식 3과 같이 정의될 수 있다.2) Training method: In the CNN model, a supervised learning mechanism can be used between the haze image patch and the label data (for example, the ambient light value and the delivered value). The filter weights of the CNN model can be learned by minimizing the loss function. The mean square error (MSE) can be used as a loss function, taking into account the pair of haze image patches and their corresponding labels. The loss function can be defined as Equation (3).
[수학식 3]&Quot; (3) "
여기서 pi는 입력 헤이즈 이미지 패치, li는 라벨 데이터, Θ는 필터 가중치를 의미한다. CNN 모델을 트레이닝 하기 위해 SGD(stochastic gradient descent) 알고리즘을 적용할 수 있다.Where p i is the input haze image patch, l i is the label data, and Θ is the filter weight. The SGD (stochastic gradient descent) algorithm can be applied to train the CNN model.
마지막으로, 이미지 복원 과정을 설명하면 다음과 같다.Finally, the image restoration process will be described as follows.
전달량 t(u,v)과 환경광 A이 얻어지면 원본 화면 복사 J가 수학식 1의 대기 산란 모델로부터 복구될 수 있다. 아래의 수학식 4에서 보여지는 것과 같이 원본 화면 복사 J가 역 대기 산란 모델로부터 통상적으로 복귀된다.When the transmission amount t (u, v) and the ambient light A are obtained, the original screen copy J can be recovered from the atmospheric scattering model of equation (1). The original screen copy J is typically returned from the inverse air scattering model as shown in Equation 4 below.
[수학식 4]&Quot; (4) "
그러나, 수학식 4의 모델은 수중 환경에서 원본 화면 복사의 복구를 달성할 수 없다. 수중 환경에서 환경광의 감쇠는 지나간 거리와 빛 경로 상 입자의 농도 뿐만 아니라 빛의 색상과 파장에도 의존한다. 예를 들어, 레드 채널의 농도는 빠르게 감소하는 반면에 블루나 그린 채널의 농도는 느리게 감소한다. 다시 말해, 수중 환경에서 촬영한 이미지의 환경광 요소는 대기 산란 모델(수학식 4)로부터 화면 복사를 복구하는데 영향을 미치는 실제 환경광이 아니다. 따라서, 이러한 문제를 해결하기 위해 본 발명에서는 새로운 균형 잡힌 화면 복사 복구(balanced scene radiance recovery) 모델(수학식 5)을 사용하여 원본 화면 복사 J를 복구할 수 있다.However, the model of equation (4) can not achieve recovery of the original screen copy in the underwater environment. The attenuation of ambient light in an aquatic environment depends not only on the distance and the concentration of particles in the light path, but also on the color and wavelength of light. For example, the red channel concentration decreases rapidly while the blue or green channel concentration decreases slowly. In other words, the ambient light component of an image taken in an underwater environment is not a real environment light that influences the restoration of the screen copy from the atmospheric scattering model (Equation 4). Therefore, in order to solve this problem, the present invention can recover the original screen copy J using the new balanced scene radiance recovery model (Equation 5).
[수학식 5]&Quot; (5) "
여기서, 
균형 잡힌 환경광 
[수학식 6]&Quot; (6) "
여기서, 
균형 잡힌 화면 복사 복구 모델을 이용하여 수중 이미지를 재건하는 디헤이징 과정은 도 2 내지 도 4와 같다. 먼저, 도 1을 통해 설명한 CNN 모델로 입력 이미지 (a)를 학습하여 전송량 맵 (b)을 추정할 수 있다(도 2). 이어, 공통된 학습 모델인 도 1의 CNN 모델로 입력 이미지 (a)를 학습하여 환경광 (c)을 추정할 수 있다(도 3). CNN 모델을 통해 추정된 전송량 맵 (b)과 환경광 (c)을 균형 잡힌 화면 복사 복구 모델(수학식 5)에 적용함으로써 디헤이징 처리된 최종 이미지 (d)를 획득할 수 있다(도 4). 다시 말해, CNN 모델을 통해 추정된 전송량 맵 (b)과 환경광 (c)을 이용하여 입력 이미지에서 헤이즈가 제거된 복원 영상 (d)을 생성할 수 있다.The de-imaging process for reconstructing an underwater image using a balanced screen copy recovery model is shown in FIGS. First, a transmission amount map b can be estimated by learning the input image a with the CNN model described with reference to FIG. 1 (FIG. 2). Next, the ambient light c can be estimated by learning the input image (a) with the CNN model of FIG. 1, which is a common learning model (FIG. 3). The degenerated final image d can be obtained by applying the transmission map b and the ambient light c estimated through the CNN model to a balanced screen copy restoration model (Equation 5) (Fig. 4 ). In other words, it is possible to generate the reconstructed image d with haze removed from the input image using the transmission amount map (b) and the ambient light (c) estimated through the CNN model.
이처럼 본 발명의 실시예들에 따르면, 공통된 컨볼루션 네트워크 아키텍처를 이용하여 수중 이미지의 환경광과 전달량을 효과적으로 추정할 수 있고 환경광과 함께 전달량을 이용하여 수중 이미지를 디헤이징 처리함으로써 수중 이미지의 품질을 향상시킬 수 있다. 그리고, 본 발명의 실시예들에 따르면, 수중 이미지의 복원 시 발생하는 색상 왜곡을 보정하기 위해 보정 환경광을 적용함으로써 수중 이미지의 색상 왜곡을 최소화 할 수 있다.As described above, according to the embodiments of the present invention, it is possible to effectively estimate the ambient light and the transmission amount of an underwater image using a common convolution network architecture, and to de-augment the underwater image by using the transmission amount together with ambient light, Quality can be improved. According to the embodiments of the present invention, the color distortion of the underwater image can be minimized by applying the correction environment light to correct the color distortion that occurs upon restoration of the underwater image.
본 발명에 따른 이미지 디헤이징 방법은 도 1 내지 도 4를 통해 설명한 상세 내용을 바탕으로 둘 이상의 동작들을 포함할 수 있다. 본 발명에 따른 이미지 디헤이징 시스템은 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있으며, 이때 적어도 하나의 프로세서는 도 1 내지 도 4를 통해 설명한 이미지 디헤이징 방법을 실행할 수 있다.The image de-imaging method according to the present invention may include two or more operations based on the details described with reference to Figs. The image de-imaging system according to the present invention may include at least one processor implemented to execute computer-readable instructions, wherein at least one processor is an image de- Can be executed.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit, a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be embodyed temporarily. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (20)
CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및
상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 단계
를 포함하는 이미지 디헤이징 방법.A computer implemented image dehazing method,
Estimating a transmission map and an ambient light in an input image using a CNN (convolutional neural network) model; And
Generating a reconstructed image subjected to de-imaging processing in the input image based on the transmission amount and the ambient light
/ RTI >
상기 추정하는 단계는,
상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 추정하는 것으로,
상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 단계
를 포함하는 이미지 디헤이징 방법.The method according to claim 1,
Wherein the estimating step comprises:
Estimating the transmission amount and the ambient light using a common model structure corresponding to the CNN model,
Fixing one of the transmission amount and the ambient light in the CNN model and training another one
/ RTI >
상기 추정하는 단계는,
상기 입력 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 입력 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정하는 것
을 특징으로 하는 이미지 디헤이징 방법.The method according to claim 1,
Wherein the estimating step comprises:
A multi-scale fusion stage for dimension reduction of the input image, a multi-scale feature extraction stage for extracting haze-related characteristics of the input image, , Estimating the transmission amount and the ambient light through the CNN model including the nonlinear regression step for estimating the transmission amount and the ambient light
Wherein the image de-assisting method comprises the steps of:
상기 멀티-스케일 융합 단계는 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성되는 것
을 특징으로 하는 이미지 디헤이징 방법.The method of claim 3,
Wherein the multi-scale convergence step comprises a plurality of convolution layers having different size filters
Wherein the image de-assisting method comprises the steps of:
상기 멀티-스케일 융합 단계에서는 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행하는 것
을 특징으로 하는 이미지 디헤이징 방법.5. The method of claim 4,
In the multi-scale convergence step, an element-wise summation operation of a pixel is performed in the final process
Wherein the image de-assisting method comprises the steps of:
상기 멀티-스케일 특성 추출 단계는 상기 입력 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer)로 구성되는 것
을 특징으로 하는 이미지 디헤이징 방법.The method of claim 3,
The multi-scale characteristic extraction step may include a maxout unit for extracting a characteristic in a depth direction of the input image and at least one convolution layer for extracting a haze-related characteristic What is organized
Wherein the image de-assisting method comprises the steps of:
상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가지는 것
을 특징으로 하는 이미지 디헤이징 방법.The method according to claim 6,
Each of the convolution layers has a Reactive Linear Unit (ReLU) activation function
Wherein the image de-assisting method comprises the steps of:
상기 멀티-스케일 특성 추출 단계는 상기 컨볼루션 레이어 다음으로 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성되는 것
을 특징으로 하는 이미지 디헤이징 방법.The method according to claim 6,
The multi-scale characteristic extracting step may include a max-pooling layer for extracting characteristics that do not spatially change after the convolution layer
Wherein the image de-assisting method comprises the steps of:
상기 비선형 회귀 단계는 컨볼루션 레이어(convolution layer)가 단일 필터로 구성되는 것
을 특징으로 하는 이미지 디헤이징 방법.The method of claim 3,
The nonlinear regression step may include a convolution layer consisting of a single filter
Wherein the image de-assisting method comprises the steps of:
상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가되는 것
을 특징으로 하는 이미지 디헤이징 방법.10. The method of claim 9,
A ReLU (Rectified Linear Unit) layer is added after the convolution layer
Wherein the image de-assisting method comprises the steps of:
상기 생성하는 단계는,
수학식 1을 통해 상기 복원 영상을 생성하는 것
을 특징으로 하는 이미지 디헤이징 방법.
수학식 1:
(여기서,
Wherein the generating comprises:
Generating the restored image through Equation (1)
Wherein the image de-assisting method comprises the steps of:
Equation 1:
(here,
수중 환경에서 촬영된 수중 이미지에 대하여 공통된 학습 모델을 통해 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및
상기 전달량과 상기 환경광을 이용하여 상기 수중 이미지를 디헤이즈(dehaze) 하는 단계
를 포함하는 이미지 디헤이징 방법.A computer implemented image dehazing method,
Estimating a transmission map and an ambient light through a common learning model for underwater images photographed in an underwater environment; And
Dehazing the underwater image using the transmission amount and the ambient light;
/ RTI >
상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정한 후,
상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 것
을 특징으로 하는 이미지 디헤이징 시스템.A computer-implemented image dehazing system,
At least one processor configured to execute instructions readable by the computer,
Lt; / RTI >
Wherein the at least one processor comprises:
After estimating the transmission map and ambient light in the input image using a CNN (convolutional neural network) model,
Generating the decompressed image subjected to the de-imaging process on the input image based on the transmission amount and the ambient light
The image de-imaging system comprising:
상기 적어도 하나의 프로세서는,
상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 추정하되, 상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 것
을 특징으로 하는 이미지 디헤이징 시스템.14. The method of claim 13,
Wherein the at least one processor comprises:
Estimating the transmission amount and the ambient light using a common model structure corresponding to the CNN model, and fixing one of the transmission amount and the ambient light in the CNN model and training another one
The image de-imaging system comprising:
상기 적어도 하나의 프로세서는,
상기 입력 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 입력 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정하는 것
을 특징으로 하는 이미지 디헤이징 시스템.14. The method of claim 13,
Wherein the at least one processor comprises:
A multi-scale fusion stage for dimension reduction of the input image, a multi-scale feature extraction stage for extracting haze-related characteristics of the input image, , Estimating the transmission amount and the ambient light through the CNN model including the nonlinear regression step for estimating the transmission amount and the ambient light
The image de-imaging system comprising:
상기 멀티-스케일 융합 단계는 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성되고,
상기 멀티-스케일 융합 단계에서는 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행하는 것
을 특징으로 하는 이미지 디헤이징 시스템.16. The method of claim 15,
Wherein the multi-scale convergence step comprises a plurality of convolution layers having different size filters,
In the multi-scale convergence step, an element-wise summation operation of a pixel is performed in the final process
The image de-imaging system comprising:
상기 멀티-스케일 특성 추출 단계는 상기 입력 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer), 및 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성되는 것
을 특징으로 하는 이미지 디헤이징 시스템.16. The method of claim 15,
The multi-scale characteristic extraction step may include a maxout unit for extracting a characteristic in a depth direction of the input image, at least one convolution layer for extracting a haze-related characteristic, And a max-pooling layer for extracting properties that do not change spatially
The image de-imaging system comprising:
상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가지는 것
을 특징으로 하는 이미지 디헤이징 시스템.18. The method of claim 17,
Each of the convolution layers has a Reactive Linear Unit (ReLU) activation function
The image de-imaging system comprising:
상기 비선형 회귀 단계는 컨볼루션 레이어(convolution layer)가 단일 필터로 구성되되, 상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가되는 것
을 특징으로 하는 이미지 디헤이징 시스템.16. The method of claim 15,
In the nonlinear regression step, a convolution layer is composed of a single filter, and a ReLU (Rectified Linear Unit) layer is added after the convolution layer
The image de-imaging system comprising:
상기 적어도 하나의 프로세서는,
수학식 2를 통해 상기 복원 영상을 생성하는 것
을 특징으로 하는 이미지 디헤이징 시스템.
수학식 2:
(여기서,
Wherein the at least one processor comprises:
And generating the restored image through Equation (2)
The image de-imaging system comprising:
Equation 2:
(here,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160147352A KR101938945B1 (en) | 2016-11-07 | 2016-11-07 | Method and system for dehazing image using convolutional neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160147352A KR101938945B1 (en) | 2016-11-07 | 2016-11-07 | Method and system for dehazing image using convolutional neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180050832A true KR20180050832A (en) | 2018-05-16 |
| KR101938945B1 KR101938945B1 (en) | 2019-01-15 |
Family
ID=62452181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160147352A KR101938945B1 (en) | 2016-11-07 | 2016-11-07 | Method and system for dehazing image using convolutional neural network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101938945B1 (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805839A (en) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | Combined estimator image defogging method based on convolutional neural networks |
| CN109712083A (en) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | A kind of single image to the fog method based on convolutional neural networks |
| KR101998027B1 (en) * | 2018-06-11 | 2019-07-08 | 인하대학교 산학협력단 | Method and System for synthesizing fog and rain image based on machine learning of road object detection in bad weather |
| KR102022648B1 (en) * | 2018-08-10 | 2019-09-19 | 삼성전자주식회사 | Electronic apparatus, method for controlling thereof and method for controlling server |
| WO2020036742A1 (en) * | 2018-08-17 | 2020-02-20 | Nec Laboratories America, Inc. | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
| KR102124497B1 (en) * | 2020-03-02 | 2020-06-18 | 엔에이치네트웍스 주식회사 | Apparatus for Image Enhancement |
| CN111369472A (en) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | Image defogging method and device, electronic equipment and medium |
| CN111489302A (en) * | 2020-03-27 | 2020-08-04 | 武汉理工大学 | Maritime image enhancement method in fog environment |
| KR20200101493A (en) * | 2019-01-29 | 2020-08-28 | 건국대학교 산학협력단 | Device and method for reconstructing high resolution image based on super-resolution convolutional neural network |
| CN111681178A (en) * | 2020-05-22 | 2020-09-18 | 厦门大学 | Knowledge distillation-based image defogging method |
| CN112215122A (en) * | 2020-09-30 | 2021-01-12 | 中国科学院深圳先进技术研究院 | Fire detection method, system, terminal and storage medium based on video image target detection |
| CN112508091A (en) * | 2020-12-03 | 2021-03-16 | 大连海事大学 | Low-quality image classification method based on convolutional neural network |
| CN112508814A (en) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | Image tone restoration type defogging enhancement method based on unmanned aerial vehicle at low altitude view angle |
| WO2021054697A1 (en) * | 2019-09-17 | 2021-03-25 | 삼성전자 주식회사 | Image ai-coding method and device, and image ai-decoding method and device |
| CN113643207A (en) * | 2021-08-20 | 2021-11-12 | Oppo广东移动通信有限公司 | Image processing method and device and electronic equipment |
| CN114820388A (en) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | Image defogging method based on codec structure |
| CN115063304A (en) * | 2022-05-19 | 2022-09-16 | 湖南师范大学 | End-to-end multi-size fusion-based pyramid neural network image defogging method and system |
| CN115456913A (en) * | 2022-11-07 | 2022-12-09 | 四川大学 | Method and device for defogging night fog map |
| CN117218033A (en) * | 2023-09-27 | 2023-12-12 | 仲恺农业工程学院 | Underwater image restoration method, device, equipment and medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102206792B1 (en) | 2019-12-26 | 2021-01-22 | 고려대학교 산학협력단 | Method for image denoising using parallel feature pyramid network, recording medium and device for performing the method |
-
2016
- 2016-11-07 KR KR1020160147352A patent/KR101938945B1/en active IP Right Grant
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805839A (en) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | Combined estimator image defogging method based on convolutional neural networks |
| KR101998027B1 (en) * | 2018-06-11 | 2019-07-08 | 인하대학교 산학협력단 | Method and System for synthesizing fog and rain image based on machine learning of road object detection in bad weather |
| KR102022648B1 (en) * | 2018-08-10 | 2019-09-19 | 삼성전자주식회사 | Electronic apparatus, method for controlling thereof and method for controlling server |
| WO2020032661A1 (en) * | 2018-08-10 | 2020-02-13 | Samsung Electronics Co., Ltd. | Electronic apparatus, method for controlling thereof, and method for controlling a server |
| US11825033B2 (en) | 2018-08-10 | 2023-11-21 | Samsung Electronics Co., Ltd. | Apparatus and method with artificial intelligence for scaling image data |
| US11388465B2 (en) | 2018-08-10 | 2022-07-12 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for upscaling a down-scaled image by selecting an improved filter set for an artificial intelligence model |
| WO2020036742A1 (en) * | 2018-08-17 | 2020-02-20 | Nec Laboratories America, Inc. | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
| CN109712083A (en) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | A kind of single image to the fog method based on convolutional neural networks |
| KR20200101493A (en) * | 2019-01-29 | 2020-08-28 | 건국대학교 산학협력단 | Device and method for reconstructing high resolution image based on super-resolution convolutional neural network |
| WO2021054697A1 (en) * | 2019-09-17 | 2021-03-25 | 삼성전자 주식회사 | Image ai-coding method and device, and image ai-decoding method and device |
| KR102124497B1 (en) * | 2020-03-02 | 2020-06-18 | 엔에이치네트웍스 주식회사 | Apparatus for Image Enhancement |
| CN111369472A (en) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | Image defogging method and device, electronic equipment and medium |
| CN111369472B (en) * | 2020-03-12 | 2021-04-23 | 北京字节跳动网络技术有限公司 | Image defogging method and device, electronic equipment and medium |
| CN111489302B (en) * | 2020-03-27 | 2023-12-05 | 武汉理工大学 | Maritime image enhancement method in fog environment |
| CN111489302A (en) * | 2020-03-27 | 2020-08-04 | 武汉理工大学 | Maritime image enhancement method in fog environment |
| CN111681178B (en) * | 2020-05-22 | 2022-04-26 | 厦门大学 | Knowledge distillation-based image defogging method |
| CN111681178A (en) * | 2020-05-22 | 2020-09-18 | 厦门大学 | Knowledge distillation-based image defogging method |
| CN112215122A (en) * | 2020-09-30 | 2021-01-12 | 中国科学院深圳先进技术研究院 | Fire detection method, system, terminal and storage medium based on video image target detection |
| CN112215122B (en) * | 2020-09-30 | 2023-10-24 | 中国科学院深圳先进技术研究院 | Fire detection method, system, terminal and storage medium based on video image target detection |
| CN112508091A (en) * | 2020-12-03 | 2021-03-16 | 大连海事大学 | Low-quality image classification method based on convolutional neural network |
| CN112508091B (en) * | 2020-12-03 | 2024-01-19 | 大连海事大学 | Low-quality image classification method based on convolutional neural network |
| CN112508814A (en) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | Image tone restoration type defogging enhancement method based on unmanned aerial vehicle at low altitude view angle |
| CN112508814B (en) * | 2020-12-07 | 2022-05-20 | 重庆邮电大学 | Image tone restoration type defogging enhancement method based on unmanned aerial vehicle at low altitude visual angle |
| CN113643207A (en) * | 2021-08-20 | 2021-11-12 | Oppo广东移动通信有限公司 | Image processing method and device and electronic equipment |
| CN115063304B (en) * | 2022-05-19 | 2023-08-25 | 湖南师范大学 | Multi-size fused pyramid neural network image defogging method and system |
| CN115063304A (en) * | 2022-05-19 | 2022-09-16 | 湖南师范大学 | End-to-end multi-size fusion-based pyramid neural network image defogging method and system |
| CN114820388B (en) * | 2022-06-22 | 2022-09-06 | 合肥工业大学 | Image defogging method based on codec structure |
| CN114820388A (en) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | Image defogging method based on codec structure |
| CN115456913A (en) * | 2022-11-07 | 2022-12-09 | 四川大学 | Method and device for defogging night fog map |
| CN117218033A (en) * | 2023-09-27 | 2023-12-12 | 仲恺农业工程学院 | Underwater image restoration method, device, equipment and medium |
| CN117218033B (en) * | 2023-09-27 | 2024-03-12 | 仲恺农业工程学院 | Underwater image restoration method, device, equipment and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101938945B1 (en) | 2019-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101938945B1 (en) | Method and system for dehazing image using convolutional neural network | |
| Yu et al. | Underwater-GAN: Underwater image restoration via conditional generative adversarial network | |
| US10534998B2 (en) | Video deblurring using neural networks | |
| CN109215080B (en) | 6D attitude estimation network training method and device based on deep learning iterative matching | |
| Cao et al. | Underwater image restoration using deep networks to estimate background light and scene depth | |
| CN110008817B (en) | Model training method, image processing method, device, electronic equipment and computer readable storage medium | |
| Shin et al. | Estimation of ambient light and transmission map with common convolutional architecture | |
| US10929955B2 (en) | Scene-based nonuniformity correction using a convolutional recurrent neural network | |
| CN111402146B (en) | Image processing method and image processing apparatus | |
| Eigen et al. | Restoring an image taken through a window covered with dirt or rain | |
| US20140307950A1 (en) | Image deblurring | |
| US20220156891A1 (en) | Methods and systems for deblurring blurry images | |
| CN111179196B (en) | Multi-resolution depth network image highlight removing method based on divide-and-conquer | |
| CN107610069A (en) | DVS visualization video denoising methods based on shared K SVD dictionaries | |
| Shen et al. | UDAformer: Underwater image enhancement based on dual attention transformer | |
| CN114004766A (en) | Underwater image enhancement method, system and equipment | |
| KR102319643B1 (en) | Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore | |
| Song et al. | Multistage curvature-guided network for progressive single image reflection removal | |
| CN110503609A (en) | A kind of image rain removing method based on mixing sensor model | |
| Ali et al. | Boundary-constrained robust regularization for single image dehazing | |
| CN108898557B (en) | Image restoration method and apparatus, electronic device, computer program, and storage medium | |
| KR102334730B1 (en) | Generative Adversarial Network for Joint Light Field Super-resolution and Deblurring and its Operation Method | |
| US20220301211A1 (en) | Methods, systems and computer medium for scene-adaptive future depth prediction in monocular videos | |
| Tran et al. | Encoder–decoder network with guided transmission map: Robustness and applicability | |
| Saxena et al. | An efficient single image haze removal algorithm for computer vision applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |