KR102650510B1 - 영상의 노이즈 제거 방법 및 장치 - Google Patents

영상의 노이즈 제거 방법 및 장치 Download PDF

Info

Publication number
KR102650510B1
KR102650510B1 KR1020220155436A KR20220155436A KR102650510B1 KR 102650510 B1 KR102650510 B1 KR 102650510B1 KR 1020220155436 A KR1020220155436 A KR 1020220155436A KR 20220155436 A KR20220155436 A KR 20220155436A KR 102650510 B1 KR102650510 B1 KR 102650510B1
Authority
KR
South Korea
Prior art keywords
band
image
low
images
feature
Prior art date
Application number
KR1020220155436A
Other languages
English (en)
Inventor
정진우
김성제
Original Assignee
한국전자기술연구원
아티슨앤오션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원, 아티슨앤오션 주식회사 filed Critical 한국전자기술연구원
Application granted granted Critical
Publication of KR102650510B1 publication Critical patent/KR102650510B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상의 노이즈 제거 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 노이즈 제거 장치는, 입력 영상의 해상도를 감소시켜 다중 해상도 영상들을 생성하는 다중 스케일 입력부, 다중 스케일 입력부에 의해 생성된 다중 해상도 영상들 각각을 저대역 영상들과 고대역 영상들로 분할하는 대역 분할부, 저대역 영상들 각각의 특징 영상들을 개선시키고, 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리부들 및 대역 처리부들에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성부를 포함한다. 이에 의해, 다양한 크기와 형태를 가지는 영상의 노이즈를 영상의 디테일 손실 없이 효과적으로 제거할 수 있게 된다.

Description

영상의 노이즈 제거 방법 및 장치{Image noise reduction method and device}
본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 수중 촬영 영상의 화질 개선을 위해 영상에 촬영된 노이즈(부유물)를 제거하는 방법에 관한 것이다
수중에는 플랑크톤, 미세 해양 생물, 오염물 등 다양한 부유물들이 많은데, 이런 부유물들은 촬영시 노이즈처럼 나타나 영상의 품질을 저하시킨다. 수중 영상의 노이즈 제거 방법은 Median 필터와 같은 전통적인 필터링 기법에 기반한 기술과 인공지능에 기반한 딥러닝 기술로 크게 나눌 수 있다.
Median 필터에 의한 기술은 연산이 단순하고 안정적인 성능을 제공한다는 장점이 있으나 노이즈의 크기가 커질 경우 노이즈의 제거 성능은 떨어지고 영상의 블러가 심해진다는 단점이 있다.
최근에는 딥러닝 기반 수중 영상 노이즈 제거 기법, 딥러닝으로 노이즈 영역을 검출하고 검출된 영역에 한해 Median 필터를 제거하는 기법, 딥러닝 중 적대적 신경망 네트워크(Generative Adversarial Network)에 기반하여 수중 노이즈를 제거하는 기법 등이 제시되고 있다.
하지만 이들은 딥러닝을 학습하기 위해 수중 노이즈 데이터 또는 수중 노이즈 데이터 영역을 수동으로 합성하여 라벨링을 찾아야 하기 때문에 학습 데이터 구축에 매우 많은 비용이 요구된다.
이런 문제를 해결하기 위해 부유물을 자동으로 생성하는 합성 알고리즘을 개발하여, 모델링에 의한 합성 방법으로 딥러닝 네트워크에 의한 학습이 저비용으로 가능해졌으며, 생성 데이터와 유사한 패턴을 가지는 영상에는 높은 성능을 보이고 있다.
그러나 생성된 부유물 형태와 다른 크기와 형태를 가지는 영상에서는 부유물 제거 성능이 떨어진다는 한계가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 기반으로 다양한 크기와 형태를 지니는 수중 영상의 노이즈(부유물)를 효과적으로 제거하기 위한 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 노이즈 제거 장치는 입력 영상의 해상도를 감소시켜 다중 해상도 영상들을 생성하는 다중 스케일 입력부; 다중 스케일 입력부에 의해 생성된 다중 해상도 영상들 각각을 저대역 영상들과 고대역 영상들로 분할하는 대역 분할부; 저대역 영상들 각각의 특징 영상들을 개선시키고, 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리부들; 대역 처리부들에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성부;를 포함한다.
다중 스케일 입력부는, 입력 영상의 해상도를 순차적으로 감소시키면서, 다중 해상도 영상들을 생성할 수 있다.
대역 분할부는 다중 해상도 영상들 각각에서 저대역 영상들을 생성한 후, 다중 해상도 영상들 각각에서 저대역 영상들을 뺀 나머지 영상을 고대역 영상들로 생성할 수 있다.
대역 처리부는, 저대역 영상에서 특징을 추출하는 저대역 인코더; 고대역 영상에서 특징을 추출하는 고대역 인코더; 저대역 인코더에서 추출된 저대역 특징 영상에서 윤곽을 강화하는 저대역 개선부; 고대역 인코더에서 추출된 고대역 특징 영상에서 노이즈를 제거하는 노이즈 제거부;를 포함할 수 있다.
대역 처리부는, 저대역 인코더에서 추출된 저대역 특징 영상과 이전 레벨에서 윤곽이 강화된 저대역 특징 영상을 병합하는 저대역 병합부; 고대역 인코더에서 추출된 고대역 특징 영상과 이전 레벨에서 노이즈가 제거된 고대역 특징 영상을 병합하는 고대역 병합부;를 더 포함하고, 저대역 개선부는, 저대역 병합부에서 병합된 특징 영상에서 윤곽을 강화하고, 노이즈 제거부는, 고대역 병합부에서 병합된 특징 영상에서 노이즈를 제거할 수 있다.
본 발명의 노이즈 제거 장치는 이전 레벨의 저대역 특징 영상의 해상도를 저대역 인코더에서 추출된 저대역 특징 영상의 해상도로 향상시키고, 이전 레벨의 고대역 특징 영상의 해상도를 고대역 인코더에서 추출된 고대역 특징 영상의 해상도로 향상시키는 해당도 향상부;를 더 포함하고, 저대역 병합부는, 해상도 향상부에 의해 해상도가 향상된 이전 레벨의 저대역 특징 영상과 저대역 인코더에서 추출된 저대역 특징 영상을 병합하고, 해상도 향상부에 의해 해상도가 향상된 이전 레벨의 고대역 특징 영상과 고대역 인코더에서 추출된 고대역 특징 영상을 병합할 수 있다.
저대역 인코더는, 모든 레이어에 활성화 함수가 포함되어 있고, 고대역 인코더는, 최종 레이어에 활성화 함수가 포함되어 있지 않을 수 있다.
합성부는, 대역 처리부에서 출력되는 저대역 특징 영상과 고대역 특징 영상을 병합하는 병합부; 병합부에 의해 병합된 특징 영상을 개선하는 최종 개선부;를 포함할 수 있다.
최종 개선부는, 특징 영상을 개선하도록 학습된 개선 네트워크를 이용하여, 병합부에 의해 병합된 특징 영상을 개선하되, 개선 네트워크의 최종 레이어에만 활성화 함수가 포함되어 있고, 합성부는, 최종 개선부에서 출력되는 출력 영상에서 영상의 범위를 벗어나는 값을 영상의 범위 내로 클리핑 하여 출력하는 최종 출력부;를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 입력 영상의 해상도를 감소시켜 다중 해상도 영상들을 생성하는 단계; 다중 스케일 입력부에 의해 생성된 다중 해상도 영상들 각각을 저대역 영상들과 고대역 영상들로 분할하는 단계; 저대역 영상들 각각의 특징 영상들을 개선시키고, 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리단계; 대역 처리단계에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 노이즈 제거 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 다중 해상도 영상들 각각에서 분할된 저대역 영상들 각각의 특징 영상들을 개선시키고, 다중 해상도 영상들 각각에서 분할된 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리부들; 대역 처리부들에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성부;를 포함하는 것을 특징으로 하는 노이즈 제거 장치가 제공된다.
본 발명의 또다른 측면에 따르면, 다중 해상도 영상들 각각에서 분할된 저대역 영상들 각각의 특징 영상들을 개선시키는 단계; 다중 해상도 영상들 각각에서 분할된 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 단계; 개선이 완료된 저대역 특징 영상과 노이즈 제거가 완료된 고대역 특징 영상을 합성하여 출력 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 노이즈 제거 장치가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 수중 영상으로부터 다중 해상도 영상들을 생성하고 다중 해상도 영상들 각각에 대해 저대역과 고대역으로 구분하여 특징 영상에 대해 개선과 노이즈 제거 후 합성함으로써, 다양한 크기와 형태를 가지는 수중 영상의 노이즈(부유물)를 수중 영상의 디테일 손실 없이 효과적으로 제거할 수 있게 된다.
도 1. 본 발명의 일 실시예에 따른 수중 영상 노이즈 제거 장치
도 2. 해상도 감소부 예시
도 3. 저대역 인코더부 예시
도 4. 고대역 인코더부 예시
도 5. 해상도 향상부 예시
도 6. 연결 기반 병합부 구조
도 7. 덧셈 기반 병합부 구조
도 8. 저대역 개선부 구조
도 9. 노이즈 제거부 구조
도 10. 합성부 구조
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 수중 영상 노이즈 제거 장치의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 수중 영상 노이즈 제거 장치는 입력되는 수중 영상을 다양한 해상도로 변환한 후 각각에서 노이즈를 제거하여 합성함으로써, 다양한 크기와 형태의 노이즈 및 부유물을 제거할 수 있도록 한다.
본 발명의 실시예에 따른 수중 영상 노이즈 제거 장치는, 도시된 바와 같이 다중 스케일 입력부(110), 대역 분할부(120), 대역 처리부들(130,140,150) 및 합성부(160)를 포함하여 구성된다.
다중 스케일 입력부(110)는 입력 영상(I0)에 대해 스케일 변환을 통해 다양한 해상도를 갖는 영상들을 생성한다. 다중 스케일 입력부(110)는 입력 영상(I0)의 해상도를 순차적으로 감소시키면서 중간 해상도 영상(I1)과 낮은 해상도 영상(I2)을 생성한다.
입력 영상(I0)의 해상도가 H x W 라고 가정하면, 중간 해상도 영상(I1)의 해상도는 H/2 x W/2, 낮은 해상도 영상(I2)의 해상도는 H/4 x W/4로, 2의 배수로 해상도가 감소된다. H는 영상의 가로 픽셀 수, W는 영상의 세로 픽셀 수이다. 도 1에서 영상은 높은 해상도(원 해상도) 영상인 입력 영상(I0), 중간 해상도 영상(I1) 및 낮은 해상도 영상(I2)의 3레벨로 구성되어 있는데, 이는 예시적인 것에 불과하다. 2레벨은 물론 4레벨 이상으로 구성하는 것이 가능하다.
해상도 감소는 다중 스케일 입력부(110)의 해상도 감소부들에서 이루어지는데, 도 2에 도시된 바와 같이 bilinear 다운샘플링, bicubic 다운샘플링 등의 필터링에 의한 방법에 의해 감소되어질 수 있다. bilinear 다운샘플링과 bicubic 다운샘플링으로 해상도가 감소될 경우 영상의 크기는 1/2로 줄어들지만 채널 수는 동일하다. 두 가지 방법 이외에도 채널 디셔플링에 의한 해상도 감소 방법을 사용할 수 있다. 채널 디셔플링을 적용 시 해상도는 절반으로 감소하고 채널의 수는 4배가 증가하여 데이터량은 해상도 감소 시에도 동일하다.
대역 분할부(120)는 다중 해상도 영상들(I0,I1,I2)을 저대역 영상과 고대역 영상으로 분할한다. 저대역 영상은 영상에 저대역 필터(low-pass filter)를 적용한 영상으로 주로 영상의 윤곽 등을 나타낸다. 고대역 영상은 영상에 고대역 필터 (high-pass filter)를 적용한 영상으로 주로 영상의 디테일과 잡음 등을 포함하고 있다.
대역 분할부(120)는 영상들(I0,I1,I2) 각각에서 저대역 영상들을 생성한 후, 영상들(I0,I1,I2) 각각에서 저대역 영상들을 뺀 나머지 영상을 고대역 영상들로 생성한다.
이에 의해 대역 분할부(120)의 첫 번째 대역 분할부에서는 높은 해상도(원 해상도) 영상인 입력 영상(I0)에 대한 저대역 영상과 고대역 영상, 두 번째 대역 분할부에서는 중간 해상도 영상(I1)에 대한 저대역 영상과 고대역 영상, 세 번째 대역 분할부에서는 낮은 해상도 영상(I2)에 대한 저대역 영상과 고대역 영상이, 각각 생성된다.
대역 처리부들(130,140,150)은 대역 분할부(120)에서 분할된 저대역 영상들의 특징 영상들을 개선시키고, 고대역 영상들의 특징 영상들에서 노이즈를 제거한다. 대역 처리부들(130,140,150)은 해상도 레벨에 따라 구분되어 있다. 즉 첫 번째 대역 처리부(130)는 높은 해상도(원 해상도) 영상인 입력 영상(I0)의 저대역 영상과 고대역 영상을 처리하고, 두 번째 대역 처리부(140)는 중간 해상도 영상(I1)의 저대역 영상과 고대역 영상을 처리하며, 세 번째 대역 처리부(150)는 낮은 해상도 영상(I2)의 저대역 영상과 고대역 영상을 처리한다.
첫 번째 대역 처리부(130)는 저대역 인코더부(131), 고대역 인코더부(132), 저대역 특징 병합부(133), 고대역 특징 병합부(134), 해상도 향상부(135), 저대역 개선부(136) 및 노이즈 제거부(137)를 포함하여 구성된다.
인코더부(131,132)는 저대역, 고대역 영상에 대한 특징(Feature)을 추출한다. 저대역, 고대역 영상은 일반적으로 컬러 영상에 대하여는 R,G,B 의 3채널로 구성되어 있다. 저대역, 고대역 영상에 대한 특징을 추출하기 위해 도 3, 도 4와 같이 합성곱(convolution)으로 이루어진 딥러닝 네트워크를 사용한다. 예시에서 파란색 박스는 합성곱과 PReLU로 구성되어 있지만, 합성곱, 배치 정규화, ReLU 로 구성되는 등 다양한 조합으로 변형할 수 있다.
인코더부(131,132)의 입력과 출력 해상도는 동일해야 한다. 즉 인코더부(131,132)의 입력이 3 x H x W 이면 출력은 N x H x W가 되야 한다. 입력에서 3은 R,G,B 3채널을 의미하며 출력의 N은 자연수이다.
도 3은 저대역 인코더부(131)이고, 도 4는 고대역 인코더부(132)이다. 이와 같이 양자의 구조는 서로 구분되는데 저대역과 고대역의 신호 특성이 다르기 때문이다. 저대역 신호는 영상의 저주파로 주로 구성되어 있기 때문에 저대역 인코더부(131)에서는 도 3에 도시된 바와 같이 모든 레이어에서 PRelu와 같은 활성화 함수를 넣도록 한다. 반면 고대역 신호는 잔차 신호로 구성되어 있기 때문에 고대역 인코더부(132)에서는 도 4에 도시된 바와 같이 최종 컨볼루션에는 활성화 함수를 넣지 않는다.
특징 병합부(133,134)는 인코더부(131,132)의 출력과 이전 레벨에서 생성된 저대역/고대역 특징을 병합한다. 구체적으로 저대역 특징 병합부(133)는 현재 레벨(M)의 저대역 영상에 대한 저대역 인코더부(131)의 출력인 저대역 특징 영상 과 이전 레벨의 저대역 특징 영상 를 병합한다. 고대역 특징 병합부(134)는 현재 레벨(M)의 고대역 영상에 대한 고대역 인코더부(132)의 출력인 고대역 특징 영상 과 이전 레벨의 고대역 특징 영상 를 병합한다.
병합을 위해서는 특징 병합부(133,134)의 두 개 입력 해상도가 동일하여야 한다. 현재 레벨의 해상도와 동일하게 맞추기 위해, 해상도 향상부(135)가 필요하다.
해상도 향상부(135)는 이전 레벨(M+1)의 저대역/고대역 특징 영상을 현재 레벨(M)의 저대역/고대역 특징 영상과 동일한 해상도로 만들기 위한 구성이다. 해상도 향상부(135)는 도 5에 도시된 바와 같이 해상도 감소부(110)와 대응되도록 bilinear 업샘플링, Bicubic 업샘플링 기법을 사용할 수 있으며 이 두 방법을 사용할 경우 채널 수는 유지된 상태에서 출력의 해상도가 입력의 해상도에 2배가 되게 한다. 한편 해상도 향상부(135)가 채널 셔플링 기법을 사용할 경우 출력의 해상도는 2배 향상되나 채널 수는 1/4로 줄어든다. 해상도 향상부(135)에서 어떤 방법을 사용할지는 네트워크의 성능, 파라미터에 수 따라 조정할 수 있다.
한편 특징 병합부(133,134)의 병합 방법은 연결(concatenation) 방법과 덧셈(addition) 방법의 두 가지가 있다. 연결 방법은 현재 레벨의 인코더부(131,132) 출력에 이전 레벨의 특징 영상을 단순 연결하도록 하도록 한다. 도 6과 같이 현재 레벨의 인코더부(131,132)의 출력 크기가 A x H' x W' 이고 이전 레벨의 특징 영상의 크기가 B x H' x W' 라고 하면 특징 병합부(133,134)의 출력은 (A+B) x H' x W' 이가 된다. 덧셈 방법은 입력 두 특징을 단순 더하는 방법으로 두 입력의 크기가 도 7과 같이 동일해야 한다. 두 입력 텐서를 병합하여 하나의 텐서를 만든 후(도 6, 7에서 M), 채널 수를 조절하기 위한 컨볼루션 레이어를 추가한다.
저대역 개선부(136)는 저대역 특징 영상에서 윤곽을 강화하여 저대역 특징 영상을 개선한다. 도 8은 저대역 개선부(136)의 구성을 예시하였는데, 저대역 개선 네트워크는 특정 네트워크에 한정하지 않는다. 다만 저대역 개선부(136)의 입력과 출력의 해상도는 동일해야 한다. 도 8에서 저대역 개선 네트워크를 fL이라고 하면, 저대역 개선부(136)의 입출력은 Y = X + fL(X)이 되고 저대역 개선 네트워크는 잔차 신호만을 집중적으로 학습하게 된다. 저대역 개선부는 덧셈 연결이 없이 Y = fL(X)형태로 사용할 수 있다.
노이즈 제거부(137)는 고대역 특징 영상에서 노이즈 부분만을 제거한다. 저대역 개선 네트워크와 마찬가지로, 도 9에 제시한 노이즈 제거 네트워크도 특정 네트워크에 한정하지 않지만 입력과 출력의 해상도는 동일해야만 한다. 노이즈 제거 네트워크는 fN이라고 하면 Y = fN(X)로 표현되며 잔차 신호보다는 노이즈 신호를 직접 네트워크에 적용하는 것이 좋다. 그러나 영상 특성에 따라 잔차 네트워크를 사용하여도 무방하다.
두 번째 대역 처리부(140)의 구성과 기능은 첫 번째 대역 처리부(130)와 동등하므로 이에 대한 상세한 설명은 생략한다. 그리고 세 번째 대역 처리부(150)는 최하위 레벨로 이전 레벨이 존재하지 않기 때문에 특징 병합부들과 해상도 향상부들을 포함하지 않는다는 점에서 첫 번째 대역 처리부(130)와 차이가 있을 뿐이며, 그 구성과 기능은 첫 번째 대역 처리부(130)의 구성과 기능으로부터 파악 가능하므로, 이에 대한 상세한 설명도 생략한다.
합성부(160)는 대역 처리부(130)에서 생성된 저대역 특징 영상과 고대역 특징 영상을 합성하여 노이즈가 제거된 최종 출력 영상을 생성한다. 도 10은 합성부(160)의 상세 구성을 도시한 도면이다. 도시된 바와 같이 합성부(160)는 특징 병합부(161), 최종 개선부(162) 및 최종 출력부(163)를 포함하여 구성된다.
특징 병합부(161)는 저대역 특징 영상과 고대역 특징 영상을 입력으로 하여 한 개의 텐서로 병합하는데, 도 5와 도 6에서 언급한 특징 병합 기술을 사용할 수 있다. 최종 개선부(162)는 합성된 텐서를 마지막으로 개선하는 네트워크로 특정 네트워크로 한정되지 않는다.
최종 출력부(163)는 최종 개선부(162)의 출력 단 바로 직전에 해당하는 네트워크의 마지막 레이어의 결과 값이 출력 영상의 범위(예: 일반적인 영상은 0 ~ 255값을 가짐)를 넘어가지 않도록 clipping을 적용한다. clipping 기법은 다음과 같은 수식으로 정의 된다.
이 clipping 기법은 다음과 같이 재표현 가능하기 때문에 두 개의 입력 값 중 최소값(min)을 구하는 레이어와 최대값(max)을 구하는 레이어가 네트워크 마지막 레이어 뒷단에 연속적으로 붙게 된다.
활성화 함수 ReLU는 max(x,a=0)의 역할을 수행하기 때문에, 마지막 레이어에서만 활성화 함수를 relu로 강제하고, 출력값에 min(x,b=255)만 수행하게 되면 clipping을 적용한 것과 같은 동작을 하게 된다. 본 발명의 실시예에서는 제일 마지막 레이어에서만 활성화 함수를 ReLU로 강제하고, 그 뒷단에 min(x,b=255)의 역할을 하는 레이어를 추가함으로써, 네트워크 내에서 max(*)의 연산을 생략하게 되어 처리 속도가 개선되는 장점을 가진다.
한편 본 발명의 실시예에서 제시한 네트워크는 전 영역에서 미분 가능하므로 엔드-투-엔드(end-to-end) 학습이 가능하다. 학습을 위한 손실 함수는 다음과 같이 정의 할 수 있다.
(5)
는 생성된 영상이고 는 원본(Ground Truth) 영상이다. 는 영상 X로부터 추출한 특징 데이터를 의미한다. 본 발명의 실시예에서는 로 미리 학습된 VGG-19 네트워크의 relu4_4 레이어를 적용할 수 있으나, 이에 한정되는 것은 아니다.
지금까지 수중 영상 노이즈 제거 장치 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서 상정한 수중 촬영 영상은 노이즈 제거 대상 영상의 일 예에 해당한다. 수중 촬영 영상이 아닌 다른 종류의 영상에 대해서도, 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 다중 스케일 입력부
120 : 대역 분할부
130,140,150 : 대역 처리부
131 : 저대역 인코더부
132 : 고대역 인코더부
133 : 저대역 특징 병합부
134 : 고대역 특징 병합부
135 : 해상도 향상부
136 : 저대역 개선부
137 : 노이즈 제거부
160 : 합성부

Claims (12)

  1. 입력 영상의 해상도를 감소시켜 다중 해상도 영상들을 생성하는 다중 스케일 입력부;
    다중 스케일 입력부에 의해 생성된 다중 해상도 영상들 각각을 저대역 영상들과 고대역 영상들로 분할하는 대역 분할부;
    저대역 영상들 각각의 특징 영상들을 개선시키고, 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리부들;
    대역 처리부들에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성부;를 포함하고,
    합성부는,
    대역 처리부들에서 출력되는 저대역 특징 영상과 고대역 특징 영상을 병합하는 병합부;
    병합부에 의해 병합된 특징 영상을 개선하도록 학습된 개선 네트워크를 이용하여, 병합부에 의해 병합된 특징 영상을 개선하되, 개선 네트워크의 최종 레이어에만 활성화 함수가 포함되어 있는 최종 개선부;
    최종 개선부에서 출력되는 출력 영상에서 영상의 범위를 벗어나는 값을 영상의 범위 내로 클리핑 하여 출력하는 최종 출력부;를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
  2. 청구항 1에 있어서,
    다중 스케일 입력부는,
    입력 영상의 해상도를 순차적으로 감소시키면서, 다중 해상도 영상들을 생성하는 것을 특징으로 하는 노이즈 제거 장치.
  3. 청구항 1에 있어서,
    대역 분할부는
    다중 해상도 영상들 각각에서 저대역 영상들을 생성한 후, 다중 해상도 영상들 각각에서 저대역 영상들을 뺀 나머지 영상을 고대역 영상들로 생성하는 것을 특징으로 하는 노이즈 제거 장치.
  4. 청구항 1에 있어서,
    대역 처리부는,
    저대역 영상에서 특징을 추출하는 저대역 인코더;
    고대역 영상에서 특징을 추출하는 고대역 인코더;
    저대역 인코더에서 추출된 저대역 특징 영상에서 윤곽을 강화하는 저대역 개선부;
    고대역 인코더에서 추출된 고대역 특징 영상에서 노이즈를 제거하는 노이즈 제거부;를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
  5. 청구항 4에 있어서,
    대역 처리부는,
    저대역 인코더에서 추출된 저대역 특징 영상과 이전 레벨에서 윤곽이 강화된 저대역 특징 영상을 병합하는 저대역 병합부;
    고대역 인코더에서 추출된 고대역 특징 영상과 이전 레벨에서 노이즈가 제거된 고대역 특징 영상을 병합하는 고대역 병합부;를 더 포함하고,
    저대역 개선부는,
    저대역 병합부에서 병합된 특징 영상에서 윤곽을 강화하고,
    노이즈 제거부는,
    고대역 병합부에서 병합된 특징 영상에서 노이즈를 제거하는 것을 특징으로 하는 노이즈 제거 장치.
  6. 청구항 5에 있어서,
    이전 레벨의 저대역 특징 영상의 해상도를 저대역 인코더에서 추출된 저대역 특징 영상의 해상도로 향상시키고, 이전 레벨의 고대역 특징 영상의 해상도를 고대역 인코더에서 추출된 고대역 특징 영상의 해상도로 향상시키는 해당도 향상부;를 더 포함하고,
    저대역 병합부는,
    해상도 향상부에 의해 해상도가 향상된 이전 레벨의 저대역 특징 영상과 저대역 인코더에서 추출된 저대역 특징 영상을 병합하고,
    해상도 향상부에 의해 해상도가 향상된 이전 레벨의 고대역 특징 영상과 고대역 인코더에서 추출된 고대역 특징 영상을 병합하는 것을 특징으로 하는 노이즈 제거 장치.
  7. 청구항 4에 있어서,
    저대역 인코더는,
    모든 레이어에 활성화 함수가 포함되어 있고,
    고대역 인코더는,
    최종 레이어에 활성화 함수가 포함되어 있지 않은 것을 특징으로 하는 노이즈 제거 장치.
  8. 삭제
  9. 삭제
  10. 입력 영상의 해상도를 감소시켜 다중 해상도 영상들을 생성하는 단계;
    생성된 다중 해상도 영상들 각각을 저대역 영상들과 고대역 영상들로 분할하는 단계;
    저대역 영상들 각각의 특징 영상들을 개선시키고, 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리단계;
    대역 처리단계에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성단계;를 포함하고,
    합성단계는,
    대역 처리단계에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 병합하는 단계;
    병합된 특징 영상을 개선하도록 학습된 개선 네트워크를 이용하여, 병합된 특징 영상을 개선하되, 개선 네트워크의 최종 레이어에만 활성화 함수가 포함되어 있는 단계;
    개선된 특징 영상에서 영상의 범위를 벗어나는 값을 영상의 범위 내로 클리핑 하여 출력하는 단계;를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  11. 다중 해상도 영상들 각각에서 분할된 저대역 영상들 각각의 특징 영상들을 개선시키고, 다중 해상도 영상들 각각에서 분할된 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 대역 처리부들;
    대역 처리부들에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성부;를 포함하고,
    합성부는,
    대역 처리부들에서 출력되는 저대역 특징 영상과 고대역 특징 영상을 병합하는 병합부;
    병합부에 의해 병합된 특징 영상을 개선하도록 학습된 개선 네트워크를 이용하여, 병합부에 의해 병합된 특징 영상을 개선하되, 개선 네트워크의 최종 레이어에만 활성화 함수가 포함되어 있는 최종 개선부;
    최종 개선부에서 출력되는 출력 영상에서 영상의 범위를 벗어나는 값을 영상의 범위 내로 클리핑 하여 출력하는 최종 출력부;를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
  12. 다중 해상도 영상들 각각에서 분할된 저대역 영상들 각각의 특징 영상들을 개선시키는 단계;
    다중 해상도 영상들 각각에서 분할된 고대역 영상들 각각의 특징 영상들에서 노이즈를 제거하는 단계;
    개선이 완료된 저대역 특징 영상과 노이즈 제거가 완료된 고대역 특징 영상을 합성하여 출력 영상을 생성하는 합성단계;를 포함하고,
    합성단계는,
    대역 처리단계에서 처리가 완료된 저대역 특징 영상과 고대역 특징 영상을 병합하는 단계;
    병합된 특징 영상을 개선하도록 학습된 개선 네트워크를 이용하여, 병합된 특징 영상을 개선하되, 개선 네트워크의 최종 레이어에만 활성화 함수가 포함되어 있는 단계;
    개선된 특징 영상에서 영상의 범위를 벗어나는 값을 영상의 범위 내로 클리핑 하여 출력하는 단계;를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
KR1020220155436A 2022-10-28 2022-11-18 영상의 노이즈 제거 방법 및 장치 KR102650510B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220140807 2022-10-28
KR1020220140807 2022-10-28

Publications (1)

Publication Number Publication Date
KR102650510B1 true KR102650510B1 (ko) 2024-03-22

Family

ID=90480891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220155436A KR102650510B1 (ko) 2022-10-28 2022-11-18 영상의 노이즈 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102650510B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
WO2018131266A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 ノイズ処理装置及びノイズ処理方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2021500654A (ja) * 2017-10-24 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ニューラル・ネットワークの効率の促進

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
WO2018131266A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 ノイズ処理装置及びノイズ処理方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2021500654A (ja) * 2017-10-24 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ニューラル・ネットワークの効率の促進

Similar Documents

Publication Publication Date Title
EP1174824B1 (en) Noise reduction method utilizing color information, apparatus, and program for digital image processing
JP4004562B2 (ja) 画像処理方法および装置
EP3186954B1 (en) Image processing apparatus, image processing method, recording medium, and program
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
CN111260580B (zh) 图像去噪方法、计算机装置及计算机可读存储介质
Hou et al. Image companding and inverse halftoning using deep convolutional neural networks
JPH0648495B2 (ja) 潰れウオルシュ・アダマ−ル変換による画像処理方法
JPH10187966A (ja) 画像フィルタリング方法及びその装置
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN116188325A (zh) 一种基于深度学习和图像颜色空间特性的图像去噪方法
CN114359073A (zh) 一种低光照图像增强方法、***、装置及介质
CN113724164A (zh) 一种基于融合重构制导滤波的可见光图像噪声去除方法
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
Hu et al. Zero-shot multi-focus image fusion
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
KR102650510B1 (ko) 영상의 노이즈 제거 방법 및 장치
KR101434897B1 (ko) 화상 처리 장치, 및 화상 처리 장치의 제어 방법
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
CN116363001A (zh) 一种结合rgb和hsv颜色空间的水下图像增强方法
CN111754412A (zh) 构建数据对的方法、装置及终端设备
JP2003283835A (ja) 画像処理装置
KR102296644B1 (ko) 단일 이미지 상에서 기 설정된 속성을 제거하여 무잡음 영상을 생성하기 위한 장치 및 이를 위한 방법
WO2022120809A1 (zh) 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质
JP7445109B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
KR101006810B1 (ko) 예제 기반 초해상도 기법을 이용한 고품질 영상 획득 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant