WO2017014396A1 - Device and method for wavelength-adaptive dehazing of image - Google Patents

Device and method for wavelength-adaptive dehazing of image Download PDF

Info

Publication number
WO2017014396A1
WO2017014396A1 PCT/KR2016/002359 KR2016002359W WO2017014396A1 WO 2017014396 A1 WO2017014396 A1 WO 2017014396A1 KR 2016002359 W KR2016002359 W KR 2016002359W WO 2017014396 A1 WO2017014396 A1 WO 2017014396A1
Authority
WO
WIPO (PCT)
Prior art keywords
fog
image
input image
region
wavelength
Prior art date
Application number
PCT/KR2016/002359
Other languages
French (fr)
Korean (ko)
Inventor
백준기
윤인혜
정석화
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to CN201680030045.0A priority Critical patent/CN107636724A/en
Publication of WO2017014396A1 publication Critical patent/WO2017014396A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Definitions

  • Embodiments of the present invention relate to an apparatus and method for adaptive wavelength removal of an image.
  • External video surveillance systems e.g., drone video, black box video, cctv video, etc.
  • drone video e.g., drone video, black box video, cctv video, etc.
  • cctv video e.g., black box video
  • cctv video e.g., cctv video
  • the method proposed by Narasimhan acquires two images with different brightness values due to deterioration factors at the same location, and then removes the fog by obtaining transmission degree and depth information according to atmospheric degradation factors.
  • Schwartz's method uses two images obtained by mounting different polarization filters at the same location. Since the intensity of light transmitted through each polarization filter is different, the polarized value is calculated by dividing the polarized amount and the polarized fog is removed by using the polarized value.
  • Fattal's proposed method eliminates the fog on the assumption that "the measurement of the reflectance of an image is always the same and the direction of light reflection at the same location is always the same.”
  • Tan's method eliminates atmospheric degradation factors by using the feature that "images with fog have a lower contrast than images without fog". However, this excessively increases the contrast, causing a problem of partial color distortion.
  • Kong's method obtains an image with improved contrast by performing histogram equalization across the pixels of the image and segmenting the image locally.
  • the method proposed by Xu enhances the contrast and clarity by using a virtual histogram distribution technique through parameter control of the image.
  • the above methods can improve the visibility of the image, but it is difficult to restore the color of the subject in the fog image.
  • the present invention is to propose a fog removal apparatus and method that can reduce the amount of calculation and can remove the fog adaptively.
  • the input using the brightness value histogram of the input image including the fog component A segmentation unit for segmenting an image to generate a level image including a plurality of region classes, wherein the plurality of region classes are composed of a sky region class, a ground region class, and a vertical region class;
  • a delivery map generator for generating a delivery map for removing the fog component by using the input image and the level image;
  • a fog value estimator for estimating a fog value corresponding to the fog component by using the input image and the sky region class;
  • an image reconstructing unit which generates a reconstructed image by removing the fog component by using the delivery map and the fog value.
  • the brightness value histogram may include a dark area, a middle area, and a bright area according to a preset brightness reference value.
  • the delivery map may be expressed as in the following equation.
  • T ( ⁇ ) is the transfer map
  • ⁇ is the scattering coefficient of the atmosphere
  • ⁇ is the wavelength
  • ⁇ is the wavelength index
  • W ij (g L ( ⁇ )) is the filter kernel
  • g L ( ⁇ ) is the level image
  • g ( ⁇ ) is the input image
  • ⁇ k is the window with the center pixel k
  • is the number of pixels of ⁇ k
  • i and j are the coordinates of the pixel
  • ⁇ is the normalization parameter
  • ⁇ k is the average of ⁇ k
  • ⁇ k is the variance of ⁇ k , respectively.
  • the wavelength may include a red wavelength, a green wavelength, and a blue wavelength
  • the scattering coefficient of the atmosphere may have a different value for each of the red wavelength, the green wavelength, and the blue wavelength.
  • the atmospheric scattering coefficient is a scattering coefficient of an angle angle of 60 degrees of the camera acquiring the input image, and may be expressed by the following equation.
  • the fog value may be expressed as in the following equation.
  • a ( ⁇ ) is the fog value
  • g ( ⁇ ) is the input image
  • g SL ( ⁇ ) is the level image of the sky domain class
  • max () means a maximizing function for comparing brightness values.
  • FIG. 1 illustrates a model for forming a wavelength adaptive fog image according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a schematic configuration of an apparatus for adaptively removing wavelength of an image according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a wavelength adaptive fog removing method of an image according to an exemplary embodiment of the present invention.
  • 4 and 6 are views for explaining the operation of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
  • FIG. 7 is a view showing a simulation result of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
  • FIG. 1 illustrates a model for forming a wavelength adaptive fog image according to an embodiment of the present invention.
  • Equation 1 an image obtained from a camera in an unmanned aerial vehicle (UAV), that is, an input image, is represented by Equation 1 below.
  • g ( ⁇ ) is the input image
  • ⁇ ( ⁇ ⁇ red , ⁇ green , ⁇ blue ⁇ ) is the wavelength
  • f ( ⁇ ) is the fog-free image
  • f sun ( ⁇ ) is light that is not scattered in the atmosphere
  • f sky ( ⁇ ) denotes light scattered in the atmosphere
  • a ( ⁇ ) denotes an atmospheric bet fog value
  • T ( ⁇ ) denotes a conversion map or a transmission map.
  • T ( ⁇ ) which is an image without fog
  • f sky ( ⁇ ) is scattered, causing distortion of the subject and natural color of the image.
  • Equation 1 f ( ⁇ ) T ( ⁇ ) is light entering the camera without being affected by the deterioration factor in the object, that is, direct attenuation, and A ( ⁇ ) (1-T ( ⁇ )) is applied to the camera. Atmospheric scattered light, which is scattered by the fog before reaching it.
  • the fog value A ( ⁇ ) and the transfer map T ( ⁇ ) are estimated from the image g ( ⁇ ) to restore the image without fog.
  • FIG. 2 is a diagram illustrating a schematic configuration of an apparatus for adaptively removing wavelength of an image according to an embodiment of the present invention.
  • the fog removing apparatus 200 includes an input unit 210, a segmentation unit 220, a transfer map generator 230, a fog value estimator 240, and image restoration.
  • the unit 250 is included.
  • FIG. 3 is a flowchart illustrating a wavelength adaptive fog removing method of an image according to an exemplary embodiment of the present invention.
  • step 310 the input unit 210 receives an image obtained from the camera.
  • the input image is an image including a fog component, which may be an unmanned aerial vehicle image, a black box image, or a cctv image.
  • a fog component which may be an unmanned aerial vehicle image, a black box image, or a cctv image.
  • the input image is obtained from the unmanned aerial vehicle, but the present invention is not limited thereto.
  • the segmentation unit 220 generates a level image including a plurality of region classes by subdividing the input image including the fog component.
  • the plurality of area classes are composed of a sky area class, a ground area class, and a vertical area class, and the vertical area class includes a vertical structure such as a building.
  • the fog of the uniform turbidity is not distributed due to the visible distance and external influences, and the farther the object, the less the wavelength dependence on the scattering degree.
  • we estimate the transfer map by generating a level image using geometric class-based image classification and adaptive region merging.
  • geometric classes are classified into three classes, that is, an sky area class, a ground area class, and a vertical area class, for efficient segmentation of a fog image.
  • the segmentation unit 220 may subdivide the sky region class, the ground region class, and the vertical region class by using the brightness value histogram of the input image.
  • the segmentation unit 220 classifies the image into small regions while maintaining the boundary of the object of the image using the superpixel illustrated in FIG. 4, and performs the region merging using the brightness value histogram distribution illustrated in FIG. 5. Subdivide the zone class, ground zone class, and vertical zone class. This will be described in more detail as follows.
  • FIG. 4A a sample input image including five super pixels si is illustrated.
  • the segmentation unit 220 performs segmentation through different hypotheses to assign the super pixels to one of three classes (sky region class, ground region class and vertical region class, ⁇ S, V, G ⁇ ). do.
  • C is the level confidence value
  • P is the likelihood
  • h ji is the jth hypothesis for s i
  • b i is the level of the superpixel
  • b ji is the level of h ji , respectively.
  • the level confidence value for the empty domain class s 1 may be expressed as Equation 3 below.
  • the segmentation unit 220 estimates the super pixel from the small and homogeneous area of the image.
  • the segmentation unit 220 merges adjacent areas using the brightness value histogram classification.
  • the segmentation unit 220 quantizes each color channel uniformly at 16 levels, and estimates the histogram of each region in the feature region.
  • the segmentation unit 220 merges the image area into a brightness value area such as "dark brightness, medium brightness, bright brightness", and the like.
  • Equation 4 The similarity measure ⁇ (R A, R c) between the R A and R C regions may be expressed by Equation 4 below.
  • the segmentation unit 220 calculates a plurality of levels, that is, n s , based on simple shapes such as color, color, texture, and shape.
  • the segmentation unit 220 determines an optimal class for each region using the estimated probability.
  • the level of the super pixel may be expressed as in Equation 6 below.
  • v is the value of a possible level
  • Nh is the number of hypotheses
  • g ( ⁇ )) is the homogeneity likelihood value
  • P (b j v
  • h ji is the level likelihood
  • Each value represents a value.
  • the segmentation unit 220 obtains a histogram by uniformly quantizing each color channel of the fog image in the input image (FIG. 5 (a)), and then divides the histogram characteristic space into a brightness value region to obtain a dark region, It is classified into three characteristic spaces of a middle region and a bright region (FIG. 5B), and merging adjacent regions having similar characteristics between adjacent regions of the segmented image (FIG. 5C). ).
  • information such as color, texture, and shape is used to classify the area into a sky area class, a vertical area class, and a ground area class to generate a level image by leveling between areas (FIG. 5D).
  • the brightness value histogram is classified by a preset brightness reference value. As an example, in FIG. 5B, brightness reference values are illustrated as 100 and 200.
  • the delivery map generator 230 generates a delivery map for removing the fog component by using the input image and the level image.
  • the transfer map has a wavelength adaptive characteristic.
  • the transmission map according to the present invention performs fog adaptively using wavelength-based segmentation-based level image described above.
  • the delivery map may be expressed by Equation 7 below.
  • T ( ⁇ ) is the transfer map
  • ⁇ is the scattering coefficient of the atmosphere
  • ⁇ is the wavelength
  • ⁇ is the wavelength index (for example, 1.5)
  • W ij (g L ( ⁇ )) is the filter kernel
  • g ( ⁇ ) is the input image
  • ⁇ k is the window with the center pixel k
  • is the number of pixels in ⁇ k
  • i and j are the coordinates of the pixel
  • ⁇ is the normalization parameter
  • ⁇ k is ⁇ k ⁇ k means the variance of ⁇ k , respectively.
  • g Gi ( ⁇ ) which is a context-adaptive image while maintaining the edge characteristic of the level image is maintained by using the edge preservation characteristic of the filter. Can be generated.
  • the wavelength may include a red wavelength, a green wavelength, and a blue wavelength
  • the scattering coefficient of the atmosphere may have a different value for each of the red wavelength, the green wavelength, and the blue wavelength.
  • the atmospheric scattering coefficient is a scattering coefficient of an angle angle of 60 degrees of a camera that acquires an input image, and may be expressed by Equation 8 below.
  • FIG. 6A illustrates a delivery map corresponding to the input image illustrated in FIG. 5A.
  • step 340 the fog value estimator 240 estimates the fog value corresponding to the fog component by using the input image and the sky region class.
  • the fog value estimator 240 estimates the fog value by using the image leveled as the sky domain class among the three classes together with the input image, but uses the highest brightness value of each channel in the sky domain class image as the fog value. It can be estimated as, which can be expressed as Equation 9.
  • g SL ( ⁇ ) denotes a level image of the sky domain class
  • max () denotes a maximizing function for comparing brightness values.
  • FIG. 6B illustrates a level image of a sky image class according to an embodiment of the present invention.
  • step 350 the image reconstruction unit 250 generates a reconstructed image by removing the fog component by using the delivery map and the fog value. This is expressed as in Equation 10 below.
  • FIG. 6C illustrates a reconstructed image according to an embodiment of the present invention.
  • FIG. 7 is a view showing a simulation result of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
  • FIG. 7 (a) shows an input image
  • FIG. 7 (b) shows a delivery map according to the present invention
  • FIG. 7 (c) shows a reconstructed image, and a result image without color distortion can be confirmed.
  • embodiments of the present invention can be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions such as magneto-optical, ROM, RAM, flash memory, etc.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of one embodiment of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

A device and method for the wavelength-adaptive dehazing of an image are disclosed. The disclosed device for the wavelength-adaptive dehazing of an image comprises: a segmentation unit for generating a level image including a plurality of area classes by using a brightness value histogram of an input image including a fog component so as to segment the input image, wherein the plurality of area classes include a sky area class, a ground area class, and a vertical area class; a transfer map generation unit for generating a transfer map for removing the fog component, by using the input image and the level image; a fog value estimation unit for estimating a fog value corresponding to the fog component by using the input image and the sky area class; and an image restoration unit for generating a restored image by using the transfer map and the fog value so as to remove the fog component.

Description

영상의 파장 적응적 안개 제거 장치 및 방법Wavelength Adaptive Fog Removal Apparatus and Method of Image
본 발명의 실시예들은 영상의 파장 적응적 안개 제거 장치 및 방법에 관한 것이다. Embodiments of the present invention relate to an apparatus and method for adaptive wavelength removal of an image.
외부에 설치되어 있는 비디오 감시 시스템(예를 들어, 무인 항공기 영상, 블랙박스 영상, cctv 영상 등)은 기상 상태에 따라 객체의 원래 색상과 형태를 구별하기 힘든 경우가 많다. 특히, 안개가 끼어있는 경우 피사체 특성 인식에 어려움이 따른다. 따라서, 안개 등을 제거하고자 하는 연구는 오랫동안 진행되고 있다.External video surveillance systems (e.g., drone video, black box video, cctv video, etc.) often find it difficult to distinguish the original color and shape of objects based on weather conditions. In particular, it is difficult to recognize the characteristics of the subject when the fog is stuck. Therefore, the research to remove the fog, etc. has been in progress for a long time.
Narasimhan이 제안한 방법은 동일한 위치에서 열화 요인에 의한 밝기값이 서로 다른 두 개의 영상을 획득한 후, 대기 열화 요인에 따른 투과 정도와 깊이 정보를 구하여 안개를 제거한다.The method proposed by Narasimhan acquires two images with different brightness values due to deterioration factors at the same location, and then removes the fog by obtaining transmission degree and depth information according to atmospheric degradation factors.
Schwartz이 제안한 방법은 동일한 위치에서 각각 다른 편광 필터가 장착되어 얻어진 두 개의 영상을 사용한다. 각 편광 필터를 통해서 전달된 빛의 세기가 다르기 때문에 편광된 양을 분할하여 편광값을 계산하고 이를 이용하여 편광된 안개를 제거한다. Schwartz's method uses two images obtained by mounting different polarization filters at the same location. Since the intensity of light transmitted through each polarization filter is different, the polarized value is calculated by dividing the polarized amount and the polarized fog is removed by using the polarized value.
그러나, 상기의 방법들은 다수의 영상을 획득해야 한다거나, 편광 필터와 같은 추가적인 장치가 필요하기 때문에 구현 및 비용의 문제가 있다.However, the above methods are problematic in terms of implementation and cost because they have to acquire multiple images or require additional devices such as polarization filters.
이를 보완하기 위해서, 추가적인 정보없이 하나의 영상만을 이용하여 안개를 제거하는 방법에 대한 연구가 시작되었다. In order to compensate for this, a study on a method of removing fog using only one image without additional information has been started.
Fattal이 제안한 방법은 "영상의 반사율을 측정하고 동일한 위치에서 빛이 반사되는 방향이 항상 동일하다"는 가정을 통해 안개를 제거한다. 또한, Tan이 제안한 방법은 "안개가 존재하는 영상이 안개가 존재하지 않는 영상보다 낮은 대비(contrast)를 가지고 있다"는 특성을 이용하여 대기 열화 요인을 제거한다. 하지만, 이는 과도하게 대비를 증가시켜 부분적인 색상 왜곡의 문제점이 발생한다. Fattal's proposed method eliminates the fog on the assumption that "the measurement of the reflectance of an image is always the same and the direction of light reflection at the same location is always the same." In addition, Tan's method eliminates atmospheric degradation factors by using the feature that "images with fog have a lower contrast than images without fog". However, this excessively increases the contrast, causing a problem of partial color distortion.
Kratz이 제안한 방법은 Markov random field를 사용하여 영상의 반사율(albedo)과 거리에 대한 통계적 독립 요소를 추정하여 안개 이미지를 모델링하였고, 이를 이용하여 안개를 제거한다. 하지만, 단일 영상을 사용한 안개 제거 방법은 후광 효과(halo effect)와 색상 왜곡 문제가 발생할 수 있다. Kratz's proposed modeling fog image using the Markov random field to estimate the statistical independent factors of the albedo and distance of the image, and removes the fog using it. However, the fog removal method using a single image may cause halo effects and color distortion problems.
상기한 안개 제거 방법과 유사한 특성을 가진 기술로 대비 개선 방법이 있다. There is a contrast improvement method as a technology having similar characteristics to the above-described fog removal method.
Kong이 제안한 방법은 영상의 픽셀 전체에 히스토그램 균등화를 실시하는 동시에 영상을 지역적으로 분할함으로써 대비를 개선한 영상을 얻는다. Xu이 제안한 방법은 영상의 매개변수 제어를 통한 가상 히스토그램 분포 기술을 이용해서 명암과 선명도를 강화시킨다. 하지만, 상기의 방법들은 영상의 가시성을 향상시킬 수 있지만, 안개 영상에서의 피사체의 색상을 복원시키기는 어렵다는 문제점이 있다. Kong's method obtains an image with improved contrast by performing histogram equalization across the pixels of the image and segmenting the image locally. The method proposed by Xu enhances the contrast and clarity by using a virtual histogram distribution technique through parameter control of the image. However, the above methods can improve the visibility of the image, but it is difficult to restore the color of the subject in the fog image.
한편, He는 다양한 실외 영상을 이용하여 dark channel prior 방법을 제안하였다. 이 방법은 안개 제거에만 효과적일 뿐만 아니라, 수중 영상 화질 개선, 야간 영상 화질 개선, 전반사 성분 분리 등에도 효과적으로 적용할 수 있다. dark channel prior 방법은 어떠한 왜곡에도 노출되지 않은 영상이 가진 기본적인 특성이기 때문에, 다양한 왜곡에 의해 손상된 영상으로부터의 왜곡 정도를 추정하고 이를 복원한다. Meanwhile, He proposed a dark channel prior method using various outdoor images. Not only is this method effective for removing fog, but it can also be applied to underwater image quality, nighttime image quality, and total reflection component separation. Since the dark channel prior method is a basic feature of an image that is not exposed to any distortion, the estimation of distortion from an image damaged by various distortions is estimated and restored.
그러나, dark channel prior 방법은 파장 대역 간의 특성을 고려하지 않기 때문에 부적절한 대기값과 전달맵(transmission map)의 추정으로 인한 색상 왜곡 및 에지 열화 현상을 발생시키고, 많은 연산량으로 실시간 구현에 어려움이 있었다.However, since the dark channel prior method does not consider the characteristics between the wavelength bands, color distortion and edge degradation due to the estimation of inappropriate atmospheric values and transmission maps are generated, and there is a difficulty in real-time implementation with a large amount of computation.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 연산량을 감소시키고 파장 적응적으로 안개를 제거할 수 있는 안개 제거 장치 및 방법을 제안하고자 한다.In order to solve the problems of the prior art as described above, the present invention is to propose a fog removal apparatus and method that can reduce the amount of calculation and can remove the fog adaptively.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the present invention may be derived by those skilled in the art through the following examples.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 세그먼테이션부 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -; 상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부; 상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 안개값 추정부; 및 상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하는 것을 특징으로 하는 영상의 안개 제거 장치가 제공된다. According to a preferred embodiment of the present invention to achieve the above object, according to a preferred embodiment of the present invention to achieve the above object, the input using the brightness value histogram of the input image including the fog component A segmentation unit for segmenting an image to generate a level image including a plurality of region classes, wherein the plurality of region classes are composed of a sky region class, a ground region class, and a vertical region class; A delivery map generator for generating a delivery map for removing the fog component by using the input image and the level image; A fog value estimator for estimating a fog value corresponding to the fog component by using the input image and the sky region class; And an image reconstructing unit which generates a reconstructed image by removing the fog component by using the delivery map and the fog value.
상기 밝기값 히스토그램은 기 설정된 밝기 기준값에 의한 다크(dark) 영역, 미들(middle) 영역 및 브라이트(bright) 영역을 포함할 수 있다. The brightness value histogram may include a dark area, a middle area, and a bright area according to a preset brightness reference value.
상기 전달맵은 아래의 수학식과 같이 표현될 수 있다. The delivery map may be expressed as in the following equation.
Figure PCTKR2016002359-appb-I000001
Figure PCTKR2016002359-appb-I000001
Figure PCTKR2016002359-appb-I000002
Figure PCTKR2016002359-appb-I000002
여기서, T(λ)는 상기 전달맵, β는 대기의 산란계수, λ는 파장, α는 파장 지수, Wij(gL(λ))는 필터 커널, gL(λ)는 상기 레벨 영상, g(λ)는 상기 입력 영상, ωk는 중심 픽셀 k를 갖는 윈도우, |ω|는 ωk의 픽셀 수, i 및 j는 픽셀의 좌표, ε는 정규화 파라미터, μk는 ωk의 평균, σk는 ωk의 분산을 각각 의미함. Where T (λ) is the transfer map, β is the scattering coefficient of the atmosphere, λ is the wavelength, α is the wavelength index, W ij (g L (λ)) is the filter kernel, g L (λ) is the level image, g (λ) is the input image, ω k is the window with the center pixel k, | ω | is the number of pixels of ω k , i and j are the coordinates of the pixel, ε is the normalization parameter, μ k is the average of ω k , σ k is the variance of ω k , respectively.
상기 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 상기 대기의 산란계수는 상기 빨간색 파장, 상기 초록색 파장 및 상기 파랑색 파장 별로 다른 값을 가질 수 있다. The wavelength may include a red wavelength, a green wavelength, and a blue wavelength, and the scattering coefficient of the atmosphere may have a different value for each of the red wavelength, the green wavelength, and the blue wavelength.
상기 대기의 산란계수는 상기 입력 영상을 획득한 카메라의 60도의 앵글 각도의 산란계수로서, 아래의 수학식과 같이 표현될 수 있다.The atmospheric scattering coefficient is a scattering coefficient of an angle angle of 60 degrees of the camera acquiring the input image, and may be expressed by the following equation.
Figure PCTKR2016002359-appb-I000003
Figure PCTKR2016002359-appb-I000003
상기 안개값은 아래의 수학식과 같이 표현될 수 있다.The fog value may be expressed as in the following equation.
Figure PCTKR2016002359-appb-I000004
Figure PCTKR2016002359-appb-I000004
여기서, A(λ)는 상기 안개값, g(λ)는 상기 입력 영상, gSL(λ)는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함. Here, A (λ) is the fog value, g (λ) is the input image, g SL (λ) is the level image of the sky domain class, and max () means a maximizing function for comparing brightness values.
또한, 본 발명의 다른 실시예에 따르면, 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -; 상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계; 상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및 상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상의 안개 제거 방법이 제공된다. In addition, according to another embodiment of the present invention, using the brightness value histogram of the input image including the fog component to segment the input image to generate a level image including a plurality of region classes-the plurality of region classes Consists of a sky zone class, a ground zone class and a vertical zone class; Generating a transfer map for removing the fog component by using the input image and the level image; Estimating a fog value corresponding to the fog component by using the input image and the sky region class; And generating the reconstructed image by removing the fog component by using the delivery map and the fog value.
본 발명에 따르면, 연산량을 감소시키고 파장 적응적으로 안개를 제거할 수 있는 장점이 있다.According to the present invention, there is an advantage that can reduce the amount of calculation and remove the fog adaptively.
도 1은 본 발명의 일 실시예에 따른 파장 적응적 안개 영상의 형성 모델을 도시한 도면이다. 1 illustrates a model for forming a wavelength adaptive fog image according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 장치의 개략적인 구성을 도시한 도면이다. 2 is a diagram illustrating a schematic configuration of an apparatus for adaptively removing wavelength of an image according to an embodiment of the present invention.
도 3는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 방법의 흐름도를 도시한 도면이다. 3 is a flowchart illustrating a wavelength adaptive fog removing method of an image according to an exemplary embodiment of the present invention.
도 4 및 도 6은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 동작 과정을 설명하기 위한 도면이다. 4 and 6 are views for explaining the operation of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 시뮬레이션 결과를 도시한 도면이다.7 is a view showing a simulation result of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In this specification, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some steps It should be construed that it may not be included or may further include additional components or steps. In addition, the terms "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 파장 적응적 안개 영상의 형성 모델을 도시한 도면이다. 1 illustrates a model for forming a wavelength adaptive fog image according to an embodiment of the present invention.
도 1를 참조하면, 안개가 있는 경우, 무인 항공기(UAV) 내의 카메라에서 획득된 영상 즉, 입력 영상은 아래의 수학식 1과 같이 표현된다. Referring to FIG. 1, when there is a fog, an image obtained from a camera in an unmanned aerial vehicle (UAV), that is, an input image, is represented by Equation 1 below.
수학식 1
Figure PCTKR2016002359-appb-M000001
 Equation 1
Figure PCTKR2016002359-appb-M000001
여기서, g(λ)는 입력 영상, λ(λ∈{λred, λgreen, λblue})는 파장, f(λ)는 안개가 없는 영상, fsun(λ)는 대기 중에서 산란되지 않는 빛, fsky(λ)는 대기 중에서 산란되는 빛, A(λ)는 대기값 내기 안개값, T(λ)는 변환맵 내지 전달맵을 각각 의미한다. Where g (λ) is the input image, λ (λ∈ {λ red , λ green , λ blue }) is the wavelength, f (λ) is the fog-free image, and f sun (λ) is light that is not scattered in the atmosphere , f sky (λ) denotes light scattered in the atmosphere, A (λ) denotes an atmospheric bet fog value, and T (λ) denotes a conversion map or a transmission map.
보다 상세하게, 안개가 없는 영상인 T(λ)는, 광원에서 객체로 도달하기 전에 대기 중에서 산란되는 빛 fsky(λ) 및 산란되지 않는 fsun(λ)의 조합으로 생성된다. 여기서, fsky(λ)이 산란됨으로 인해 영상의 피사체와 자연 색상의 왜곡을 일으킨다. More specifically, T (λ), which is an image without fog, is generated from a combination of light f sky (λ) and non-scattered f sun (λ) that are scattered in the atmosphere before reaching the object from the light source. Here, f sky (λ) is scattered, causing distortion of the subject and natural color of the image.
또한, 수학식 1에서, f(λ)T(λ)은 객체에서 열화 요인의 영향을 받지 않고 카메라로 들어가는 빛 즉, 직접 감쇠이고, A(λ)(1-T(λ))는 카메라에 도달하기 전에 안개에 영향을 받아 산란되어 들어가는 빛 즉, 대기 산란광이다. Also, in Equation 1, f (λ) T (λ) is light entering the camera without being affected by the deterioration factor in the object, that is, direct attenuation, and A (λ) (1-T (λ)) is applied to the camera. Atmospheric scattered light, which is scattered by the fog before reaching it.
따라서, 결과적으로 영상 g(λ)에서 안개값 A(λ)과 전달맵 T(λ)를 추정하여 안개가 없는 영상을 복원한다. Therefore, as a result, the fog value A (λ) and the transfer map T (λ) are estimated from the image g (λ) to restore the image without fog.
도 2는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 장치의 개략적인 구성을 도시한 도면이다. 2 is a diagram illustrating a schematic configuration of an apparatus for adaptively removing wavelength of an image according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 안개 제거 장치(200)는 입력부(210), 세그먼테이션부(220), 전달맵 생성부(230), 안개값 추정부(240) 및 영상 복원부(250)를 포함한다. 2, the fog removing apparatus 200 according to an embodiment of the present invention includes an input unit 210, a segmentation unit 220, a transfer map generator 230, a fog value estimator 240, and image restoration. The unit 250 is included.
그리고, 도 3는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 방법의 흐름도를 도시한 도면이다. 3 is a flowchart illustrating a wavelength adaptive fog removing method of an image according to an exemplary embodiment of the present invention.
이하, 도 2 및 도 3를 참조하여, 각 구성요소 별 기능 및 각 과정 별로 수행되는 과정을 상세하게 설명한다. 2 and 3, a function of each component and a process performed by each process will be described in detail.
먼저, 단계(310)에서, 입력부(210)는 카메라에서 획득된 영상을 입력받는다. First, in step 310, the input unit 210 receives an image obtained from the camera.
여기서, 입력 영상은 안개 성분이 포함되어 있는 영상으로서, 이는 무인 항공기(Unmanned Aerial Vehicle) 영상, 블랙박스 영상, cctv 영상일 수 있다. 이하, 설명의 편의를 위해, 입력 영상이 무인 항공기에서 획득된 것으로 가정하여 설명하지만, 본 발명이 이에 한정되는 것은 아니다. Here, the input image is an image including a fog component, which may be an unmanned aerial vehicle image, a black box image, or a cctv image. Hereinafter, for convenience of description, it is assumed that the input image is obtained from the unmanned aerial vehicle, but the present invention is not limited thereto.
다음으로, 단계(320)에서, 세그먼테이션부(220)는 안개 성분이 포함된 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성한다. 이 때, 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성되며, 수직 영역 클래스는 건물과 같은 수직 구조물을 포함한다. Next, in step 320, the segmentation unit 220 generates a level image including a plurality of region classes by subdividing the input image including the fog component. At this time, the plurality of area classes are composed of a sky area class, a ground area class, and a vertical area class, and the vertical area class includes a vertical structure such as a building.
보다 상세하게, 입력 영상에서는 가시적 거리와 외부적인 영향으로 인해 균일한 탁도의 안개가 분포되지 않으며, 멀리 있는 물체일수록 산란 정도에 대한 파장 의존성이 감소한다. 그러나, 단일영상 또는 비디오 시스템에서 전달맵 생성을 위한 깊이 정보 추출에 어려움이 따른다. 이러한 문제를 해결하기 위해, 기하학적 클래스 기반의 영상 분류와 적응적 영역 합병을 이용한 레벨 영상을 생성하여 전달맵을 추정한다.More specifically, in the input image, the fog of the uniform turbidity is not distributed due to the visible distance and external influences, and the farther the object, the less the wavelength dependence on the scattering degree. However, it is difficult to extract depth information for generating a delivery map in a single image or video system. To solve this problem, we estimate the transfer map by generating a level image using geometric class-based image classification and adaptive region merging.
Hoiem이 제안한 방법은 일반적인 장면의 분할을 위해 기하학적 클래스의 완전한 세트를 정의하였지만, 세분화가 많이 되어 계산량이 증가하는 문제점이 있다. 따라서, 본 발명의 경우, 효율적인 안개 영상의 세분화를 위해서 세 가지의 클래스 즉, 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 기하학적 클래스를 분류한다. The method proposed by Hoiem defines a complete set of geometric classes for segmentation of a general scene, but there is a problem that the amount of computation is increased due to a lot of subdivisions. Therefore, in the present invention, geometric classes are classified into three classes, that is, an sky area class, a ground area class, and a vertical area class, for efficient segmentation of a fog image.
본 발명의 일 실시예에 따르면, 세그먼테이션부(220)는 입력 영상의 밝기값 히스토그램을 이용하여 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스를 세분화할 수 있다. According to an embodiment of the present disclosure, the segmentation unit 220 may subdivide the sky region class, the ground region class, and the vertical region class by using the brightness value histogram of the input image.
즉, 세그먼테이션부(220)는 도 4에 도시된 슈퍼픽셀을 사용하여 영상의 객체의 경계를 유지하면서 작은 영역으로 분류하고, 도 5에 도시된 밝기값 히스토그램 분포를 이용하여 영역 합병을 수행함으로 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스를 세분화한다. 이에 대해 보다 상세하게 설명하면 다음과 같다. That is, the segmentation unit 220 classifies the image into small regions while maintaining the boundary of the object of the image using the superpixel illustrated in FIG. 4, and performs the region merging using the brightness value histogram distribution illustrated in FIG. 5. Subdivide the zone class, ground zone class, and vertical zone class. This will be described in more detail as follows.
먼저, 도 4의 (a)에서는 5개의 슈퍼 픽셀(si)로 이루어진 샘플 입력 영상을 도시하고 있다. 이 때, 슈퍼 픽셀을 3가지 클래스(하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스, {S, V, G}) 중 하나로 할당하기 위해, 세그먼테이션부(220)는 서로 다른 가설을 통해 세분화를 수행한다. First, in FIG. 4A, a sample input image including five super pixels si is illustrated. At this time, the segmentation unit 220 performs segmentation through different hypotheses to assign the super pixels to one of three classes (sky region class, ground region class and vertical region class, {S, V, G}). do.
도 4의 (b) 내지 (d)에서는 si를 포함하는 영역을 보여주고 있다. 이 때, si에 대한 가장 적합한 레벨은 신뢰값(confidence value)으로 표현되며, 이는 수학식 2와 같이 표현될 수 있다. 4 (b) to (d) show regions including s i . At this time, the most suitable level for si is represented by a confidence value (confidence value), which can be expressed as Equation (2).
수학식 2
Figure PCTKR2016002359-appb-M000002
 Equation 2
Figure PCTKR2016002359-appb-M000002
여기서, C는 레벨 신뢰값, P는 우도값(likelihood), hji는 si에 대한 j번째 가설, bi는 슈퍼 픽셀의 레벨, bji는 hji의 레벨을 각각 의미한다.Where C is the level confidence value, P is the likelihood, h ji is the jth hypothesis for s i , b i is the level of the superpixel , and b ji is the level of h ji , respectively.
예들 들어, 하늘 영역 클래스인 s1에 대한 레벨 신뢰값은 아래의 수학식 3과 같이 표현될 수 있다.For example, the level confidence value for the empty domain class s 1 may be expressed as Equation 3 below.
수학식 3
Figure PCTKR2016002359-appb-M000003
 Equation 3
Figure PCTKR2016002359-appb-M000003
한편, 레벨 생성의 첫 단계에서, 세그먼테이션부(220)는 영상에서 작고 균질한 영역으로부터 슈퍼 픽셀을 추정하는 것이다. On the other hand, in the first step of level generation, the segmentation unit 220 estimates the super pixel from the small and homogeneous area of the image.
다음으로, 세그먼테이션부(220)는 밝기값 히스토그램 분류를 사용하여 인접 지역을 병합한다. 또한, 세그먼테이션부(220)는 16개의 레벨로 균일하게 각 색상 채널을 양자화하고, 특징 영역에서 각 영역의 히스토그램을 추정한다. 또한, 도 7의 (b)에 도시된 바와 같이, 세그먼테이션부(220) "어두운 밝기, 중간 밝기, 밝은 밝기" 등과 같은 밝기값 영역으로 영상 영역을 병합한다. Next, the segmentation unit 220 merges adjacent areas using the brightness value histogram classification. In addition, the segmentation unit 220 quantizes each color channel uniformly at 16 levels, and estimates the histogram of each region in the feature region. In addition, as illustrated in FIG. 7B, the segmentation unit 220 merges the image area into a brightness value area such as "dark brightness, medium brightness, bright brightness", and the like.
RA 영역 RC 영역 사이의 유사도 측정치 ρ(RA, Rc)는 수학식 4과 같이 표현될 수 있다. The similarity measure ρ (R A, R c) between the R A and R C regions may be expressed by Equation 4 below.
수학식 4
Figure PCTKR2016002359-appb-M000004
 Equation 4
Figure PCTKR2016002359-appb-M000004
만약, RC 및 RA가 관심 영역 및 그의 주변 영역으로 가정하고, K개의 주변 영역(Rk)이 있는 것으로 가정하고, ρ(RA, Rc)는 K개의 유사도 측정치(ρ(RA, Rk)) 중 최대값을 의미하는 것으로 가정하면, 두 영역은 아래의 수학식 5과 같이 병합되며, 더 이상 병합 영역이 없을 때까지 이 과정은 반복된다. If R C and R A are assumed to be the region of interest and its surroundings, and there are K peripheral regions R k , then ρ (R A, Rc) is the K similarity measure ρ (R A, Assuming the maximum value of R k )), the two regions are merged as in Equation 5 below, and the process is repeated until there are no more merge regions.
수학식 5
Figure PCTKR2016002359-appb-M000005
 Equation 5
Figure PCTKR2016002359-appb-M000005
그 후, 세그먼테이션부(220)는 색상, 컬러, 질감, 모양과 같은 단순 형상에 기초하여 복수의 레벨 즉, ns를 산출한다. 그리고, 세그먼테이션부(220)는 추정 확률을 이용하여 각 영역에 대해 최적의 클래스를 결정한다. 이 때, 슈퍼 픽셀의 레벨은 아래의 수학식 6과 같이 표현될 수 있다. Thereafter, the segmentation unit 220 calculates a plurality of levels, that is, n s , based on simple shapes such as color, color, texture, and shape. The segmentation unit 220 determines an optimal class for each region using the estimated probability. In this case, the level of the super pixel may be expressed as in Equation 6 below.
수학식 6
Figure PCTKR2016002359-appb-M000006
 Equation 6
Figure PCTKR2016002359-appb-M000006
여기서, v는 가능한 레벨의 값, Nh는 복수의 가설의 개수, P(hji|g(λ))는 동질성 우도값, P(bj=v|g(λ),hji)는 레벨 우도값을 각각 의미한다. 따라서, 특정 지역의 레벨 우도값의 합 및 슈퍼 픽셀을 포함하는 모든 영역에 대한 동질성 합계 레벨 우도값의 합은 정규화된다. Where v is the value of a possible level, Nh is the number of hypotheses, P (h ji | g (λ)) is the homogeneity likelihood value, and P (b j = v | g (λ), h ji is the level likelihood Each value represents a value. Thus, the sum of the level likelihood values of a particular region and the sum of the homogeneity sum level likelihood values for all regions including a super pixel is normalized.
요컨대, 세그먼테이션부(220)는 입력 영상(도 5의 (a)) 내의 안개 영상의 각 색상 채널을 균일하게 양자화하여 히스토그램을 구한 후, 히스토그램 특성 공간을 밝기값 영역으로 나누어 다크(dark) 영역, 미들(middle) 영역 및 브라이트(bright) 영역의 세 개의 특성 공간으로 분류하고(도 5의 (b)), 세분화 영상의 인접한 영역 간의 유사한 특성을 갖는 인접 영역을 병합한다(도 5의 (c)). 또한, 합병된 영역을 기반으로 컬러, 질감, 모양과 같은 정보를 이용하여 하늘 영역 클래스, 수직 영역 클래스, 지상 영역 클래스로 분류하여 영역간의 레벨링을 하여 레벨 영상을 생성한다(도 5의 (d)). 여기서, 밝기값 히스토그램은 기 설정된 밝기 기준값에 의해 분류된다. 일례로서, 도 5의 (b)에서는 밝기 기준값이 100, 200 인 것으로 예시하였다. In other words, the segmentation unit 220 obtains a histogram by uniformly quantizing each color channel of the fog image in the input image (FIG. 5 (a)), and then divides the histogram characteristic space into a brightness value region to obtain a dark region, It is classified into three characteristic spaces of a middle region and a bright region (FIG. 5B), and merging adjacent regions having similar characteristics between adjacent regions of the segmented image (FIG. 5C). ). In addition, based on the merged area, information such as color, texture, and shape is used to classify the area into a sky area class, a vertical area class, and a ground area class to generate a level image by leveling between areas (FIG. 5D). ). Here, the brightness value histogram is classified by a preset brightness reference value. As an example, in FIG. 5B, brightness reference values are illustrated as 100 and 200.
계속하여, 단계(330)에서, 전달맵 생성부(230)는 입력 영상과 레벨 영상을 이용하여 안개 성분을 제거하기 위한 전달맵을 생성한다. 여기서, 전달맵은 파장 적응적 특성을 가진다. Subsequently, in step 330, the delivery map generator 230 generates a delivery map for removing the fog component by using the input image and the level image. Here, the transfer map has a wavelength adaptive characteristic.
즉, 종래의 전달맵을 이용하여 안개 제거를 수행하면, 후광 효과나 색상이 왜곡되는 문제점이 나타난다. 이러한 문제점을 해결하기 위하여, 본 발명에 따른 전달맵은 상기에서 설명한 클래스 기반의 세분화 기반의 레벨 영상을 사용하여 파장 적응적으로 안개 제거를 수행한다. In other words, when the fog is removed using the conventional transmission map, a halo effect or a color is distorted. In order to solve this problem, the transmission map according to the present invention performs fog adaptively using wavelength-based segmentation-based level image described above.
본 발명의 일 실시예에 따르면, 전달맵은 아래의 수학식 7과 같이 표현될 수 있다. According to an embodiment of the present invention, the delivery map may be expressed by Equation 7 below.
수학식 7
Figure PCTKR2016002359-appb-M000007
 Equation 7
Figure PCTKR2016002359-appb-M000007
여기서, T(λ)는 전달맵, β는 대기의 산란계수, λ는 파장, α는 파장 지수(일례로, 1.5), Wij(gL(λ))는 필터 커널, gL(λ)는 레벨 영상, g(λ)는 입력 영상, ωk는 중심 픽셀 k를 갖는 윈도우, |ω|는 ωk의 픽셀 수, i 및 j는 픽셀의 좌표, ε는 정규화 파라미터, μk는 ωk의 평균, σk는 ωk의 분산을 각각 의미한다. Where T (λ) is the transfer map, β is the scattering coefficient of the atmosphere, λ is the wavelength, α is the wavelength index (for example, 1.5), and W ij (g L (λ)) is the filter kernel, g L (λ) Is the level image, g (λ) is the input image, ω k is the window with the center pixel k, | ω | is the number of pixels in ω k , i and j are the coordinates of the pixel, ε is the normalization parameter, μ k is ω k Σ k means the variance of ω k , respectively.
이 때, 상황 적응적(context-adaptive) 영상을 생성하기 위하여, 필터의 에지 보존 특성을 이용하여, 레벨 영상의 에지 특성은 유지하면서 상황 적응적(context-adaptive) 영상인 gGi(λ)을 생성할 수 있다. In this case, in order to generate a context-adaptive image, g Gi (λ) which is a context-adaptive image while maintaining the edge characteristic of the level image is maintained by using the edge preservation characteristic of the filter. Can be generated.
또한, 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 대기의 산란계수는 빨간색 파장, 초록색 파장 및 파랑색 파장 별로 다른 값을 가질 수 있다. In addition, the wavelength may include a red wavelength, a green wavelength, and a blue wavelength, and the scattering coefficient of the atmosphere may have a different value for each of the red wavelength, the green wavelength, and the blue wavelength.
본 발명이 일 실시예에 따르면, 대기의 산란계수는 입력 영상을 획득한 카메라의 60도의 앵글 각도의 산란계수로서, 아래의 수학식 8과 같이 표현될 수 있다. According to an embodiment of the present invention, the atmospheric scattering coefficient is a scattering coefficient of an angle angle of 60 degrees of a camera that acquires an input image, and may be expressed by Equation 8 below.
수학식 8
Figure PCTKR2016002359-appb-M000008
 Equation 8
Figure PCTKR2016002359-appb-M000008
도 6의 (a)에서는 도 5의 (a)에 도시된 입력 영상과 대응되는 전달맵을 도시하고 있다.FIG. 6A illustrates a delivery map corresponding to the input image illustrated in FIG. 5A.
다음으로, 단계(340)에서, 안개값 추정부(240)는 입력 영상과 하늘 영역 클래스를 이용하여 안개 성분과 대응되는 안개값을 추정한다. Next, in step 340, the fog value estimator 240 estimates the fog value corresponding to the fog component by using the input image and the sky region class.
즉, 안개값 추정부(240)는 입력 영상과 함께 세 개의 클래스 중 하늘 영역 클래스로 레벨링된 영상을 이용하여 안개값을 추정하되, 하늘 영역 클래스의 영상에서 각 채널의 가장 높은 밝기값을 안개값으로 추정할 수 있으며, 이는 수학식 9과 같이 표현될 수 있다. That is, the fog value estimator 240 estimates the fog value by using the image leveled as the sky domain class among the three classes together with the input image, but uses the highest brightness value of each channel in the sky domain class image as the fog value. It can be estimated as, which can be expressed as Equation 9.
수학식 9
Figure PCTKR2016002359-appb-M000009
 Equation 9
Figure PCTKR2016002359-appb-M000009
여기서, gSL(λ)는 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미한다. Here, g SL (λ) denotes a level image of the sky domain class, and max () denotes a maximizing function for comparing brightness values.
도 6의 (b)에서는 본 발명의 일 실시예에 따른 하늘 영상 클래스의 레벨 영상을 도시하고 있다. 6B illustrates a level image of a sky image class according to an embodiment of the present invention.
마지막으로, 단계(350)에서, 영상 복원부(250)는 전달맵과 안개값을 이용하여 안개 성분을 제거하여 복원 영상을 생성한다. 이는 아래의 수학식 10과 같이 표현된다. Finally, in step 350, the image reconstruction unit 250 generates a reconstructed image by removing the fog component by using the delivery map and the fog value. This is expressed as in Equation 10 below.
수학식 10
Figure PCTKR2016002359-appb-M000010
 Equation 10
Figure PCTKR2016002359-appb-M000010
도 6의 (c)에서는 본 발명의 일 실시예에 따른 복원 영상을 도시하고 있다. FIG. 6C illustrates a reconstructed image according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 시뮬레이션 결과를 도시한 도면이다. 7 is a view showing a simulation result of the wavelength adaptive fog removing device and method according to an embodiment of the present invention.
도 7의 (a)는 입력 영상, 도 7의 (b)는 본 발명에 따른 전달맵, 도 7의 (c)는 복원 영상을 각각 도시하고 있으며, 색상 왜곡이 없는 결과 영상을 확인할 수 있다. 7 (a) shows an input image, FIG. 7 (b) shows a delivery map according to the present invention, and FIG. 7 (c) shows a reconstructed image, and a result image without color distortion can be confirmed.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention can be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Examples of program instructions such as magneto-optical, ROM, RAM, flash memory, etc. may be executed by a computer using an interpreter as well as machine code such as produced by a compiler. Contains high-level language codes. The hardware device described above may be configured to operate as one or more software modules to perform the operations of one embodiment of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help the overall understanding of the present invention, the present invention is not limited to the above embodiments, Various modifications and variations can be made by those skilled in the art to which the present invention pertains. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .

Claims (8)

  1. 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 세그먼테이션부 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -;A segmentation unit for generating a level image including a plurality of region classes by subdividing the input image by using a histogram of brightness values of an input image including a fog component, wherein the plurality of region classes include a sky region class, a ground region class, and a vertical region. Consists of a realm class-;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부;A delivery map generator for generating a delivery map for removing the fog component by using the input image and the level image;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 안개값 추정부; 및 A fog value estimator for estimating a fog value corresponding to the fog component by using the input image and the sky region class; And
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하는 것을 특징으로 하는 영상의 안개 제거 장치.And an image restoring unit for generating a restored image by removing the fog component by using the transfer map and the fog value.
  2. 제1항에 있어서, The method of claim 1,
    상기 밝기값 히스토그램은 기 설정된 밝기 기준값에 의한 다크(dark) 영역, 미들(middle) 영역 및 브라이트(bright) 영역을 포함하는 것을 특징으로 하는 영상의 안개 제거 장치.The brightness value histogram includes a dark area, a middle area, and a bright area according to a predetermined brightness reference value.
  3. 상기 전달맵은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.The transfer map is fog removal apparatus of the image, characterized in that expressed as the following equation.
    Figure PCTKR2016002359-appb-I000005
    Figure PCTKR2016002359-appb-I000005
    Figure PCTKR2016002359-appb-I000006
    Figure PCTKR2016002359-appb-I000006
    여기서, T(λ)는 상기 전달맵, β는 대기의 산란계수, λ는 파장, α는 파장 지수, Wij(gL(λ))는 필터 커널, gL(λ)는 상기 레벨 영상, g(λ)는 상기 입력 영상, ωk는 중심 픽셀 k를 갖는 윈도우, |ω|는 ωk의 픽셀 수, i 및 j는 픽셀의 좌표, ε는 정규화 파라미터, μk는 ωk의 평균, σk는 ωk의 분산을 각각 의미함. Where T (λ) is the transfer map, β is the scattering coefficient of the atmosphere, λ is the wavelength, α is the wavelength index, W ij (g L (λ)) is the filter kernel, g L (λ) is the level image, g (λ) is the input image, ω k is the window with the center pixel k, | ω | is the number of pixels of ω k , i and j are the coordinates of the pixel, ε is the normalization parameter, μ k is the average of ω k , σ k is the variance of ω k , respectively.
  4. 제3항에 있어서, The method of claim 3,
    상기 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 상기 대기의 산란계수는 상기 빨간색 파장, 상기 초록색 파장 및 상기 파랑색 파장 별로 다른 값을 가지는 것을 특징으로 하는 영상의 안개 제거 장치.The wavelength includes a red wavelength, a green wavelength, and a blue wavelength, and the scattering coefficient of the atmosphere has a different value for each of the red wavelength, the green wavelength, and the blue wavelength.
  5. 제3항에 있어서, The method of claim 3,
    상기 대기의 산란계수는 상기 입력 영상을 획득한 카메라의 60도의 앵글 각도의 산란계수로서, 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.The scattering coefficient of the atmosphere is a scattering coefficient of the angle angle of 60 degrees of the camera obtained the input image, the fog removal apparatus of the image, characterized in that expressed by the following equation.
    Figure PCTKR2016002359-appb-I000007
    Figure PCTKR2016002359-appb-I000007
  6. 제1항에 있어서, The method of claim 1,
    상기 안개값은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.The fog value is fog removal apparatus of the image, characterized in that expressed as the following equation.
    Figure PCTKR2016002359-appb-I000008
    Figure PCTKR2016002359-appb-I000008
    여기서, A(λ)는 상기 안개값, g(λ)는 상기 입력 영상, gSL(λ)는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함. Here, A (λ) is the fog value, g (λ) is the input image, g SL (λ) is the level image of the sky domain class, and max () means a maximizing function for comparing brightness values.
  7. 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -;Generating a level image including a plurality of region classes by subdividing the input image by using a histogram of brightness values of an input image including a fog component, wherein the plurality of region classes include a sky region class, a ground region class, and a vertical region Composed of classes-;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계;Generating a transfer map for removing the fog component by using the input image and the level image;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및 Estimating a fog value corresponding to the fog component by using the input image and the sky region class; And
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상의 안개 제거 방법.Generating a reconstructed image by removing the fog component by using the transfer map and the fog value.
  8. 컴퓨터가 판독 가능한 매체에 저장되어, 상기 컴퓨터로 하여금 이하의 단계들을 수행하도록 하기 위한 컴퓨터 프로그램으로서,A computer program stored in a computer readable medium for causing the computer to perform the following steps,
    상기 단계는,The step,
    안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -;Generating a level image including a plurality of region classes by subdividing the input image by using a histogram of brightness values of an input image including a fog component, wherein the plurality of region classes include a sky region class, a ground region class, and a vertical region Composed of classes-;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계;Generating a transfer map for removing the fog component by using the input image and the level image;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및 Estimating a fog value corresponding to the fog component by using the input image and the sky region class; And
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하는 영상의 안개 제거 방법을 수행하기 위해, 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터 프로그램.And generating the reconstructed image by removing the fog component by using the transfer map and the fog value. The computer program stored in a computer-readable medium for performing the fog removal method of the image.
PCT/KR2016/002359 2015-07-17 2016-03-09 Device and method for wavelength-adaptive dehazing of image WO2017014396A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201680030045.0A CN107636724A (en) 2015-07-17 2016-03-09 The adaptive demister of wavelength and method of image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0101648 2015-07-17
KR1020150101648A KR101582779B1 (en) 2015-07-17 2015-07-17 Wavelength-adaptive dehazing device and method for image

Publications (1)

Publication Number Publication Date
WO2017014396A1 true WO2017014396A1 (en) 2017-01-26

Family

ID=55165499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002359 WO2017014396A1 (en) 2015-07-17 2016-03-09 Device and method for wavelength-adaptive dehazing of image

Country Status (3)

Country Link
KR (1) KR101582779B1 (en)
CN (1) CN107636724A (en)
WO (1) WO2017014396A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489420A (en) * 2020-02-25 2020-08-04 天津大学 Haze component simulation method of multispectral remote sensing satellite image
CN111738941A (en) * 2020-06-05 2020-10-02 大连海事大学 Underwater image optimization method fusing light field and polarization information
US10970824B2 (en) * 2016-06-29 2021-04-06 Nokia Technologies Oy Method and apparatus for removing turbid objects in an image
CN116188331A (en) * 2023-04-28 2023-05-30 淄博市淄川区市政环卫服务中心 Construction engineering construction state change monitoring method and system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827361B1 (en) 2016-12-08 2018-02-08 한국항공대학교산학협력단 Airlight estimation apparatus and method for dehazing
CN108805190B (en) * 2018-05-30 2021-06-22 北京奇艺世纪科技有限公司 Image processing method and device
CN111539891A (en) * 2020-04-27 2020-08-14 高小翎 Wave band self-adaptive demisting optimization processing method for single remote sensing image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (en) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 Image enhancement processing method and apparatus for distortion correction by air particle like fog
KR20140017776A (en) * 2012-08-01 2014-02-12 엠텍비젼 주식회사 Image processing device and image defogging method
KR20140026747A (en) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Apparatus and method for image defogging in hsv color space and recording medium storing program for executing method of the same in computer
KR20140140163A (en) * 2013-05-28 2014-12-09 전남대학교산학협력단 Appatatus for image dehazing using the user controllable radical root operation
KR20140142381A (en) * 2013-05-28 2014-12-12 삼성테크윈 주식회사 Method and Apparatus for removing haze in a single image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
CN103020917B (en) * 2012-12-29 2015-05-27 中南大学 Method for restoring ancient Chinese calligraphy and painting images on basis of conspicuousness detection
CN104166968A (en) * 2014-08-25 2014-11-26 广东欧珀移动通信有限公司 Image dehazing method and device and mobile terminal
CN104182943B (en) * 2014-08-27 2015-12-02 湖南大学 A kind of single image defogging method capable merging human-eye visual characteristic

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (en) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 Image enhancement processing method and apparatus for distortion correction by air particle like fog
KR20140017776A (en) * 2012-08-01 2014-02-12 엠텍비젼 주식회사 Image processing device and image defogging method
KR20140026747A (en) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Apparatus and method for image defogging in hsv color space and recording medium storing program for executing method of the same in computer
KR20140140163A (en) * 2013-05-28 2014-12-09 전남대학교산학협력단 Appatatus for image dehazing using the user controllable radical root operation
KR20140142381A (en) * 2013-05-28 2014-12-12 삼성테크윈 주식회사 Method and Apparatus for removing haze in a single image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOON ET AL.: "Wavelength-Adaptive Dehazing Using Histogram Merging-Based Classification for UAV Images.", SENSORS., vol. 15, no. 3, 2015, XP055348555 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970824B2 (en) * 2016-06-29 2021-04-06 Nokia Technologies Oy Method and apparatus for removing turbid objects in an image
CN111489420A (en) * 2020-02-25 2020-08-04 天津大学 Haze component simulation method of multispectral remote sensing satellite image
CN111738941A (en) * 2020-06-05 2020-10-02 大连海事大学 Underwater image optimization method fusing light field and polarization information
CN111738941B (en) * 2020-06-05 2023-08-29 大连海事大学 Underwater image optimization method integrating light field and polarization information
CN116188331A (en) * 2023-04-28 2023-05-30 淄博市淄川区市政环卫服务中心 Construction engineering construction state change monitoring method and system

Also Published As

Publication number Publication date
KR101582779B1 (en) 2016-01-06
CN107636724A (en) 2018-01-26

Similar Documents

Publication Publication Date Title
WO2017014396A1 (en) Device and method for wavelength-adaptive dehazing of image
WO2014142417A1 (en) System for improving foggy luminance image using fog reduction estimation model
Carr et al. Improved single image dehazing using geometry
WO2014193055A1 (en) Apparatus for enhancing blurry image using user-controllable radical operator
KR102261532B1 (en) Method and system for image dehazing using single scale image fusion
TWI808406B (en) Image dehazing method and image dehazing apparatus using the same
WO2013165210A1 (en) Image processing apparatus for removing haze contained in still image and method thereof
Tan et al. Fast single-image defogging
CN111598800B (en) Single image defogging method based on space domain homomorphic filtering and dark channel priori
CN110335210B (en) Underwater image restoration method
Patel et al. A review on methods of image dehazing
Wu et al. Image haze removal: Status, challenges and prospects
Toka et al. A fast method of fog and haze removal
Yang et al. A novel single image dehazing method
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
CN116433513A (en) Road monitoring video defogging method, system, electronic equipment and storage medium
Chu et al. A content-adaptive method for single image dehazing
CN116757949A (en) Atmosphere-ocean scattering environment degradation image restoration method and system
CN109191405B (en) Aerial image defogging algorithm based on transmittance global estimation
Mai et al. The latest challenges and opportunities in the current single image dehazing algorithms
KR101983475B1 (en) Apparatus and method for removing haze from an image using fuzzy membership function, Computer program for performing the method
CN107203979B (en) Low-illumination image enhancement method
CN115439349A (en) Underwater SLAM optimization method based on image enhancement
Mittal et al. IoT based image defogging system for road accident control during winters
Thomas et al. Effectual single image dehazing with color correction transform and dark channel prior

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827900

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16827900

Country of ref document: EP

Kind code of ref document: A1