KR20130127654A - 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 - Google Patents
동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20130127654A KR20130127654A KR20120051330A KR20120051330A KR20130127654A KR 20130127654 A KR20130127654 A KR 20130127654A KR 20120051330 A KR20120051330 A KR 20120051330A KR 20120051330 A KR20120051330 A KR 20120051330A KR 20130127654 A KR20130127654 A KR 20130127654A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- block
- transfer amount
- amount
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 238000012546 transfer Methods 0.000 claims abstract description 227
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 53
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 239000003595 mist Substances 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000002245 particle Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000000149 argon plasma sintering Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 안개가 포함된 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하고, 각 블록의 대표값을 근거로 안개 밝기를 측정하는 안개 밝기 측정부, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하는 전달량 추정부, 상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함한다.
Description
본 발명은 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는 안개가 포함된 영상에서 각 블록의 대표값을 근거로 안개 밝기를 측정하고, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정한 후, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하고, 상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 방법에 관한 것이다.
안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 보통 안개가 끼었을 때 가시거리가 1km미만의 시정 장애 현상이 나타난다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기게 되고 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 빛의 산란이란 빛이 공기 중의 입자들과 충돌하여 진행방향이 바뀌는 것을 말한다. 이는 빛의 파장과 입자크기에 따라 다르다.
일반적으로 빛의 산란은 크게 레일리 산란(Rayleigh scattering)과 미에 산란(Mie scattering)으로 나뉜다. 레일리 산란은 산란의 요인이 되는 입자의 크기가 빛의 파장보다 작을 때 적용되고 이때 산란 에너지는 파장의 네 제곱에 반비례한다. 맑은 날 빛이 공기분자들에 의해 산란될 때 파란색이 붉은색보다 더 많이 산란되어서 하늘이 파랗게 보이는 것이 그 예이다. 그러나 산란의 요인이 되는 입자의 크기가 빛의 파장보다 큰 경우의 빛의 산란은 미에 산란이론에 따른다. 안개의 경우 입자의 직경이 수μm 내지 수십 μm로 가시광선의 파장인 400nm~700nm의 파장보다 크기 때문에 미에 산란 이론에 따른다. 미에 산란 이론에 의하면 대기 중에 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다. 따라서 안개가 끼었을 때 피사체들이 뿌옇게 보이게 된다. 이때 발생하는 새로운 광원을 대기 산란광(Airlight)이라고 한다.
안개 왜곡 보정을 통한 영상 화질 개선은 시정 장애를 해결하고 뿌연 영상을 선명하게 만들 수 있다. 또한, 안개로 인해 손상된 글씨, 물체 등에 대한 정보를 복원함으로써 인식을 위한 전처리 단계로서의 중요성을 가진다.
종래의 안개 제거 기술은 크게 비 모델 방식과 모델 방식으로 나눌 수 있다.
전자의 예로는 히스토그램 평활화(Histogram equalization)를 들 수 있다. 히스토그램 평활화는 영상의 히스토그램을 분석하여 분포를 재분배하는 방법이다. 이러한 히스토그램 평활화는 쉽고 개선의 효과가 좋지만, 깊이(Depth)가 균일하지 않은 안개 영상의 경우 적합하지 않다. 또한, 일반적인 화질 개선에 적합하나 안개가 영상에 미치는 영향의 특성을 잘 반영하지 못하여 짙은 안개 영상의 경우 개선이 미미하다는 단점이 있다.
후자는 안개로 인한 빛의 산란현상이 영상에 미치는 영향을 모델링한 방식이다. 먼저, 다른 날씨 환경에서 얻은 두 장 이상의 영상을 비교하여 장면 깊이(Scene depth)를 추정한 후 보정을 함으로써 안개에 의한 왜곡을 보정하는 기술이 개시되어 있다. 하지만, 이는 날씨가 서로 다른 2장의 영상 입력이 필요하므로 실시간 구현을 위해서는 날씨의 변화를 감지함과 동시에 그에 상응하는 영상 저장 공간을 필요로 하게 된다. 그리고, 날씨 변화에 대한 주기를 예측할 수 없기 때문에, 저장 주기에 관한 결정이 어렵게 된다. 또한, 오차가 없는 동일한 장면을 촬영해야만 하기 때문에 움직이는 물체가 있는 경우 안개 왜곡 정도를 추정 시 오류가 발생할 수 있다.
다음으로, 안개에 의해 영상의 픽셀 값이 변한 정도를 추정하여 빼 줌으로써 안개에 의한 왜곡을 보정하는 기술이 명시되어 있다. 하지만, 안개가 균일하다는 가정으로부터 출발하였기 때문에 균일하고 옅은 안개의 경우에는 적용 가능하나 실제 균일하지 않은 안개의 경우가 더 많고, 안개가 균일하다고 할지라도 카메라와 피사체와의 거리에 따라 안개에 의하여 영향을 받는 정도가 달라지므로 실제 적용에 있어서는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 안개를 포함한 동영상으로부터 안개 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있는 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있는 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.
상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 안개가 포함된 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하고, 각 블록의 대표값을 근거로 안개 밝기를 측정하는 안개 밝기 측정부, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하는 전달량 추정부, 상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치가 제공된다.
상기 안개 밝기 측정부는 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈, 상기 분할된 각 블록별로 픽셀값의 평균과 표준편차를 각각 구하고, 각 블록별 평균과 표준편차를 이용하여 대표값을 각각 구하는 대표값 계산 모듈, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 안개 밝기로 선택하는 화소값 선택 모듈을 포함할 수 있다.
상기 전달량 추정부는, 상기 안개가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부, 상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 제1 픽셀 단위 전달량 추정부를 포함할 수 있다.
상기 전달량 추정부는 상기 안개가 포함된 영상을 미리 정해진 일정 크기로 축소하고, 상기 축소된 영상을 상기 블록단위 전달량 추정부로 전송하는 영상 축소부를 더 포함할 수 있다.
또한, 상기 전달량 추정부는 상기 축소된 영상과 상기 제1 픽셀 단위 전달량을 원 영상의 크기로 확대하는 영상 확대부, 상기 확대된 제1 픽셀 단위 전달량에 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량을 추정하는 제2 픽셀단위 전달량 추정부를 더 포함할 수 있다.
상기 블록 단위 전달량 추정부는, 상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 비용함수 계산모듈, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함할 수 있다.
상기 비용함수 계산 모듈은 각 화소의 밝기값을 이용한 분산에 (-1)을 곱하여 대조비(Ec)를 구할 수 있다.
또한, 상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'초과 또는 '255'미만의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구할 수 있다.
상기 비용함수 계산 모듈은 이전 프레임의 블록단위 전달량에 객체의 이동에 따라 전달량을 보정해주는 블록단위 보정계수를 적용하여 상기 이전 프레임의 블록단위 전달량을 보정하고, 상기 보정된 이전 프레임의 블록단위 전달량과 현재 프레임의 블록단위 전달량을 이용하여, 영상의 시간적 차이를 최소화하는 시간 손실량을 구할 수 있다.
상기 최종 비용함수 계산 모듈은 상기 대조비, 영상 손실량, 시간 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구할 수 있다.
상기 제1 또는 제2 픽셀 단위 전달량 추정부는 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 근사 전달량 계산모듈, 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 변수 계산 모듈, 상기 구해진 변수에 의한 근사 전달량을 제1 또는 제2 픽셀단위 전달량으로 검출하는 픽셀단위 전달량 검출 모듈을 포함할 수 있다.
상기 영상 확대부는 최근접 이웃 화소 보간법을 이용하여 상기 축소된 영상을 원 영상의 크기로 확대할 수 있다.
본 발명의 다른 측면에 따르면, 영상 처리 장치가 안개가 포함된 동영상을 복원하는 방법에 있어서, (a) 안개가 포함된 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하고, 각 블록의 대표값을 근거로 안개 밝기를 측정하는 단계, (b) 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하는 단계, (c) 상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 단계를 포함하는 동영상에 포함된 안개 제거 방법이 제공된다.
상기 (a)단계는, 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계, 상기 분할된 각 블록별로 픽셀값의 평균과 표준편차를 각각 구하는 단계, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계, 상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계 및 상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 안개 밝기로 추정하는 단계를 포함할 수 있다.
상기 (b) 단계는, 상기 안개가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계, 상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 단계를 포함할 수 있다.
상기 동영상에 포함된 안개 제거 방법은 상기 블록단위 전달량을 추정하는 단계 이전에, 상기 안개가 포함된 영상을 미리 정해진 일정 크기로 축소하는 단계를 더 포함할 수 있다.
또한, 상기 동영상에 포함된 안개 제거 방법은 상기 제1 픽셀단위 전달량을 추정하는 단계 이후, 상기 축소된 영상과 상기 제1 픽셀 단위 전달량을 원 영상의 크기로 확대하는 단계, 상기 확대된 제1 픽셀 단위 전달량에 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량을 추정하는 단계를 더 포함할 수 있다.
상기 블록단위 전달량을 추정하는 단계는, 상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하는 단계, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 단계, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하는 단계, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함할 수 있다.
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 단계는, 상기 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 단계, 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 단계, 상기 구해진 변수에 의한 근사 전달량을 제1 픽셀단위 전달량으로 검출하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 안개를 포함한 동영상으로부터 안개 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있다.
또한, 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있다.
또한, 전달량 계산을 통해 픽셀별로 안개 농도를 예측하고, 이에 따라 각 픽셀별로 차등적으로 안개를 제거하므로, 영상내에 안개가 어떻게 분포하든지 상관없이 안개를 효과적으로 제거할 수 있다.
또한 동영상에서 안개제거 후 발생할 수 있는 flickering 현상을 제거함으로써, 보다 안정적인 안개제거가 가능하며, 고속화된 필터를 도입함으로써 실시간 처리가 가능하다.
도 1은 본 발명에 따른 동영상에 포함된 안개 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도.
도 2는 도 1에 도시된 안개 밝기 측정부의 구성을 상세히 나타낸 블럭도.
도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면.
도 5는 도 1에 도시된 픽셀 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 6은 블록 중첩을 설명하기 위한 예시도.
도 7은 가우시안 가중치를 이용한 중첩의 설명을 위한 예시도.
도 8은 본 발명에 따른 영상 처리 장치가 안개가 포함된 영상을 복원하는 방법을 나타낸 흐름도.
도 9는 본 발명에 따른 중첩 블록에 기반한 에지 보존 필터를 적용한 경우의 화면 예시도.
도 10은 본 발명에 따른 영상 처리 장치가 안개 밝기를 측정하는 방법을 나타낸 흐름도.
도 11을 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도.
도 12는 본 발명에 따른 영상 처리 장치가 픽셀 단위 전달량을 추정하는 방법을 나타낸 흐름도.
도 2는 도 1에 도시된 안개 밝기 측정부의 구성을 상세히 나타낸 블럭도.
도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면.
도 5는 도 1에 도시된 픽셀 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 6은 블록 중첩을 설명하기 위한 예시도.
도 7은 가우시안 가중치를 이용한 중첩의 설명을 위한 예시도.
도 8은 본 발명에 따른 영상 처리 장치가 안개가 포함된 영상을 복원하는 방법을 나타낸 흐름도.
도 9는 본 발명에 따른 중첩 블록에 기반한 에지 보존 필터를 적용한 경우의 화면 예시도.
도 10은 본 발명에 따른 영상 처리 장치가 안개 밝기를 측정하는 방법을 나타낸 흐름도.
도 11을 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도.
도 12는 본 발명에 따른 영상 처리 장치가 픽셀 단위 전달량을 추정하는 방법을 나타낸 흐름도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
영상 처리 장치는 안개가 포함된 영상을 수학식 1을 이용하여 복원한다.
여기서, Ip는 픽셀위치 p에서 취득 영상의 밝기 값(안개에 영향을 받은 영상임), Jp는 픽셀위치 p에서 취득 영상의 원 밝기 값(안개에 영향을 받지 않은 영상임), tp는 픽셀위치 p에서 취득 영상의 전달량(깊이 정보, 영상과 해당 지점과의 거리), A는 안개 밝기 값을 의미한다.
이때, 영상 처리 장치는 대조비를 고려하는 비용(EC), 대조비 향상 시 발생할 수 있는 영상 손실(EL), 동영상에서의 시간적 유사성을 고려한 비용(ET)을 고려한 비용함수를 만들고, 그 비용함수를 최소로 하는 전달량(t)를 구한 후, 수학식 1을 이용하여 안개가 포함된 영상을 복원한다.
이하, 영상 처리 장치가 수학식 1을 이용하여 안개가 포함된 동영상을 복원하는 기술에 대해 도면을 참조하여 설명하기로 한다.
도 1은 본 발명에 따른 동영상에 포함된 안개 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도, 도 2는 도 1에 도시된 안개 밝기 측정부의 구성을 상세히 나타낸 블럭도, 도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도, 도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면, 도 5는 도 1에 도시된 픽셀 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도, 도 6은 블록 중첩을 설명하기 위한 예시도, 도 7은 가우시안 가중치를 이용한 중첩의 설명을 위한 예시도이다.
도 1을 참조하면, 동영상에 포함된 안개 제거를 위한 영상 처리 장치(100)는 안개 밝기 측정부(110), 영상 축소부(120), 블록 단위 전달량 추정부(130), 제1 픽셀 단위 전달량 추정부(140), 영상 확대부(150), 제2 픽셀 단위 전달량 추정부(160), 영상 복원부(170)를 포함한다.
상기 안개 밝기 측정부(110)는 안개가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나누어 블록별 대표값을 각각 구하고, 상기 대표값들 중에서 그 값이 가장 큰 블록을 선택 및 그 선택된 블록의 넓이가 기 설정된 넓이 이하가 될 때까지 상기 선택된 블록을 상기 일정 개수의 블록으로 나누어 대표값을 구하는 과정을 반복하여 안개 밝기를 구한다. 상기 안개가 포함된 영상은 동영상 일 수 있다.
안개 밝기 값을 구하기 위해서는 "안개는 태양으로부터 도달한 대기중의 빛이므로 영상 내에서 매우 밝은 값을 가진다", "안개에 의해 영향을 받은 픽셀값은 안개 밝기 값과 비슷한 값을 가진다"의 가정을 이용한다. 또한, 수학식 1을 참고하면, 취득한 영상에서 전달량(깊이정보, 영상과 객체간의 거리)이 클수록 안개의 영향을 많이 받음을 알 수 있고, 따라서 안개의 영향을 많이 받은 영역은 대부분의 값이 안개값 주위에 분포하므로 표준편차가 작아진다.
따라서, 상기 2가지 가정을 조합하면, 안개 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 안개에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있다는 것을 알 수 있다. 일반적으로 안개는 가장 밝은 픽셀값으로 선택하는 경우가 있는데, 이럴 경우 흰색 객체가 선택될 수도 있으므로 문제가 발생한다. 그러므로, 블록을 점차적으로 줄여나가면서 안개값의 후보군을 좁혀나가기 위해 블록으로 나누어 검출하고, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 픽셀값은 대부분 안개 밝기 값에 영향을 받았다고 볼 수 있으므로, 가장 밝은 화소값을 안개 밝기 값으로 선택해도 오차가 발생할 소지가 적다. 따라서, 안개밝기 측정부(110)는 가장 밝은 화소값을 안개 밝기값으로 선택할 수 있다.
상기 안개 밝기 측정부(110)에 대해 도 2를 참조하면, 안개 밝기 측정부(110)는 영역 분할 모듈(112), 대표값 계산 모듈(114), 화소값 선택 모듈(116)을 포함한다.
상기 영역 분할 모듈(112)은 안개가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나눈다. 여기서, 일정 개수는 4개일 수 있다.
블록에서 대표값을 구할 때, 블록 내 픽셀 값들의 평균 밝기와 표준 편차를 이용하는데, 이 값들은 모두 블록의 크기에 따라 달라질 수 있다. 예를 들어 20x20 크기의 블록을 이용하여 대표값을 구할 경우, 안개가 없는 영역에 흰색 건물이나 흰색 차량 등과 같은 밝은 객체가 존재하면, 대표값이 높게 선택될 수 있다. 블록의 크기를 확대하면, 대표값은 보다 안개가 많은 쪽에서 선택되나, 블록 내에서 안개 밝기 값을 찾기가 어렵기 때문에 블록을 점차적으로 줄여나가면서 안개 밝기 값의 후보군을 좁혀나가기 위해 영상을 블록으로 분할한다. 이때, 동영상의 경우 안개 밝기 값은 첫 프레임 또는 T 프레임마다 한번씩 검출함으로써 안개 밝기 값의 갱신으로 인한 반짝임 현상을 방지할 수 있다.
상기 대표값 계산 모듈(114)은 상기 영역 분할 모듈(112)에서 분할된 각 블록별로 픽셀값의 평균과 표준편차를 각각 구하고, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 구한다.
즉, 안개 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 안개에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있는데, 안개의 영향을 많이 받은 영역은 대부분의 값이 안개값 주위에 분포하므로 표준편차가 작아진다. 따라서, 상기 대표값 계산 모듈(114)는 안개 밝기 값을 구하기 위해 각 블록의 평균과 표준편차를 이용하여 대표값을 구한다.
상기 화소값 선택 모듈(116)은 상기 대표값 계산 모듈(114)에서 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 안개 밝기로 선택한다.
즉, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 픽셀값은 대부분 안개값에 영향을 받았다고 볼 수 있으므로 가장 밝은 화소값을 안개 밝기로 선택해도 오차가 발생할 소지가 적다. 따라서, 상기 화소값 선택 모듈(116)은 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 안개 밝기로 선택한다.
상기 화소값 선택 모듈(116)은 대표값이 가장 큰 블록을 선택하고, 그 선택된 블록의 넓이가 기 설정된 넓이 이하인지를 판단한다. 여기서, 상기 기 설정된 넓이는 그 블록의 (가로 길이 * 세로 길이)로서 예를 들면, 200일 수 있다. 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 된 경우, 상기 화소값 선택 모듈(116)은 상기 선택된 블록에서 가장 밝은 화소값을 선택하고, 상기 선택된 화소값을 안개 밝기로 추정한다.
만약, 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 아니면, 상기 화소값 선택 모듈(116)은 상기 선택된 블록을 일정 개수로 분할 및 대표값들을 각각 구하고, 대표값이 가장 큰 블록을 선택하여 기 설정된 넓이 이하인지를 판단하는 과정을 반복하여, 기 설정된 넓이 이하의 블록이 선택된 경우, 그 선택된 블록에서 가장 밝은 화소값을 안개 밝기로 추정한다.
다시 도 1을 참조하면, 상기 영상 축소부(120)는 상기 안개 영상을 미리 정해진 일정 크기로 축소한다. 예를 들면, 상기 영상 축소부(120)는 입력 영상을 320*240 크기의 영상으로 축소할 수 있다. 즉, 동영상은 크기가 커서 입력되는 동영상을 그대로 이용할 경우 계산량이 커지므로, 계산량을 줄이기 위해 영상을 축소하는 과정을 거치게 된다.
상기 블록 단위 전달량 추정부(130)는 상기 영상 축소부(120)에서 축소된 영상을 미리 정해진 일정 개수의 블록으로 분할하고, 각 블록별로 대조비, 영상 손실량 및 시간 손실량을 각각 구한 후, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정한다.
상기 블록단위 전달량 추정부(130)에 대해 도 3을 참조하면, 상기 블록 단위 전달량 추정부(130)는 영상 분할 모듈(132), 비용함수 계산 모듈(134), 최종 비용함수 계산모듈(136), 블록 단위 전달량 검출 모듈(138)을 포함한다.
상기 영상 분할 모듈(132)은 상기 영상 축소부(120)에서 축소된 안개 영상을 미리 정해진 일정 개수의 블록으로 분할한다. 이때, 상기 영상 분할 모듈(132)은 블록의 크기가 너무 작을 경우 전달량 추정이 어렵기 때문에, 블록의 최소 크기는 16*16 이상의 크기로 정하고, 블록의 개수는 임의로 정할 수 있다. 여기서, 영역 분할을 하는 것은 균등하지 않은 안개에 의한 영향을 고려하여 안개 성분을 보상해주기 위함이고, 영역분할을 위한 블록의 개수는 하드웨어 복잡도를 고려하여 적절하게 선정할 수 있다.
영상을 복원하기 위해서는 수학식 1을 이용하는데, 안개밝기 측정부(110)에서 구해진 안개 밝기 값만 알고 있으므로, 모든 픽셀마다 전달량(tp)과 원 밝기값(Jp)을 계산해야 하는데, 식보다 미지수가 많은 문제(under-determined problem)가 있다. 따라서 블록 내에 전달량(tp)이 모두 동일하다고 가정을 할 경우 B(블록내 픽셀의 개수)개의 식에 대해 (B+1)개의 미지수로 미지수의 수를 크게 줄일 수 있다. 따라서, 영상을 분할하지 않고 영상 전체에 동일한 전달량(t)으로 가정하게 되면, 영상의 깊이 정보에 따른 영상 열화를 적응적으로 보상할 수 없기 때문에, 영상을 분할하여 지역적 깊이 정보를 고려한 것이다.
상기 비용함수 계산 모듈(134)은 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구한다.
전달량(t)을 구하고자 할 경우, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량(t)에 의해서 결정된 출력 영상의 손실은 최소가 되어야 하며(2), 동영상일 때는 깜박임 현상을 줄이기 위해 이전 프레임과의 차이가 적어야 한다(3)는 조건이 만족되어야 한다.
그러므로, 상기 비용함수 계산모듈(134)은 대조비를 고려하는 비용(EC), 대조비 향상 시 발생할 수 있는 영상 손실(EL), 동영상에서의 시간적 유사성을 고려한 비용(ET)을 고려한 비용함수를 만들고, 각 비용함수를 이용하여 대조비, 영상 손실량, 시간 손실량을 구한다.
따라서, 상기 비용함수 계산 모듈(134)은 대조비를 구하는 대조비 계산 모듈(134a), 영상 손실량을 구하는 영상 손실량 계산 모듈(134b), 시간 손실량을 구하는 시간 손실량 계산 모듈(134c)을 포함한다.
수학식 2는 영상에서 대조비(contrast)를 계산하는 방법으로 많이 사용되는 RMS contrast를 이용한 것으로, RMS contrast는 영상의 분산값을 이용하여 대조비를 측정한다.
또한, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하므로, 수학식 2와 같은 비용함수를 만들고, 그 비용함수가 최소가 되는(최적의 값) 전달량(t)을 찾는 것이 목적이므로, RMS contrast는 대조비가 좋아질수록 값이 증가하기 때문에, 비용함수에서는 전달량이 작아질수록 비용함수가 작아지도록 설정하기 위해 - 기호를 붙인다.
즉, 상기 대조비 계산 모듈(134a)은 각 블록별로 각 화소의 밝기값을 이용한 분산에 -1을 곱하여 대조비를 구한다. 상기 수학식 2는 제1 비용함수(또는, 대조비 향상 비용함수)로 칭할 수 있고, 상기 제1 비용함수는 복원한 영상의 대조비를 최대로 하는 전달량을 찾는 함수로, 대조비를 최대화하는 블록단위 전달량은 항상 '0'으로 수렴한다. 블록 단위 전달량이 '0'에 수렴할 경우, 입력 화소값에 대한 출력 화소값이 컴퓨터가 표현할 수 있는 화소값 [0 255]를 넘는 값으로 결정된다.
즉, 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 출력 화소값이 영상 손실로 존재하는데, 그 영상 손실을 최소화하는 것이 필요하다. 상기 영상 손실량은 '0'미만 또는 '255'초과의 출력 화소값이 0과 255로 절삭된 양을 말한다.
따라서, 상기 영상 손실량 계산 모듈(134b)은 영상 손실을 최소화하기 위해 수학식 3에 의한 제2 비용함수를 이용하여 각 블록별 영상 손실량을 구한다.
수학식 3의 개념을 그림으로 표현하면 도 4와 같이 A영역의 면적과 같다. 도 4를 참조하면, A영역은 '0'미만 또는 '255'초과의 화소값으로, 영상 손실량을 말한다.
또한, 동영상에서 블록 단위 전달량은 객체의 이동에 따라 값이 변한다. 그러므로, 블록 단위 전달량을 구하기 위해서는 영상의 시간적 차이를 최소화하는 시간 손실량을 구해야 한다.
상기 시간 손실량 계산모듈(134c)은 수학식 4에 의한 제3비용함수를 이용하여 영상의 시간적 차이를 최소화하는 시간 손실량을 구한다.
상기 시간 손실량 계산 모듈(134c)이 시간 손실량을 구하는 수학식 4의 구성요소에 대해 설명하기로 한다.
전달량은 객체의 이동에 따라 값이 변한다. 즉, 객체가 관찰자에게 가까이 이동할 경우 전달량은 커지고, 반대로 객체가 멀리 이동할 경우 전달량은 작아진다. 안개의 농도가 모든 곳에 대해서 일정한 양을 가지고 있을 경우, 객체와 관찰자와의 거리에 따라서 안개의 양이 달라진다. 따라서 거리가 가까울 경우 안개에 의해 영향을 적게 받고, 거리가 멀 경우 안개의 영향을 많이 받게 된다. 마찬가지로, 객체가 관찰자에게 가까이 이동하게 되면 안개에 의한 영향이 적어지게 되고, 객체가 관찰자에게 멀어지면 안개에 의해 영향을 더 많이 받게 된다. 그러나, 객체의 이동에 관계없이 객체의 복원된 원 밝기는 항상 동일하다. 따라서 동일 객체일 경우 인접한 프레임간의 복원된 밝기는 수학식 5와 같이 표현할 수 있다.
객체의 이동에 의한 전달량의 변화를 계산하면 수학식 6과 같다.
상기 수학식 7은 수학식 5에 수학식1을 넣어서 정리하면 나오는 식으로, 이때 t를 제외한 나머지 항을 묶어서 kappa로 표기하고 사용한 것이다.
그리고, 프레임과 프레임의 동일한 화소 위치가 항상 같은 객체를 표현하지는 않는다. 이는 객체의 움직임 때문이며, 객체의 움직임을 보상하기 위해 프레임과 프레임의 동일한 위치에서의 화소값 차이를 이용하여 확률 가중치를 계산한다. 상기 확률 가중치()는 수학식 8을 이용하여 구한다. 수학식8은 (f-1)프레임에서 p위치의 픽셀값과 f프레임에서 p위치의 픽셀값(동일 위치, 서로 다른 프레임)의 차이가 너무 크게 나타날 경우 동일한 객체일 확률이 낮으며, 차이가 작을 경우 동일 객체일 확률이 높으므로 전달량(t)의 변화로 밝기가 변했을 것이라고 가정하여 만든 수식일 수 있다.
여기에서 는 화소값 차이에 따른 확률을 나타내기 위한 표준편차로 통상적으로 10을 사용한다. 가 증가할 경우 과 이 동일한 객체를 가리킬 확률이 증가한다. 전달량은 블록 단위로 계산하므로, 확률 가중치를 이용하여 블록단위()로 수학식 7을 갱신하면, 수학식 9와 같은 블록 단위 보정계수()를 구할 수 있다.
상기 수학식 9를 통해 블록 단위 보정계수가 구해지면, 상기 시간 손실량 계산모듈(134c)은 이전 프레임의 전달량과 현재 프레임의 전달량의 차이를 이용한 수학식 4를 이용하여 시간 손실량을 구한다. 이때 상기 시간 손실량 계산 모듈(134c)은 객체의 움직임에 따른 전달량 변화를 고려하기 위해 확률 가중치()로 이전 프레임의 전달량()을 보정한다.
상기 최종 비용함수 계산모듈(136)은 상기 비용함수 계산모듈(134)에서 구해진 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구한다.
즉, 전달량(t)를 구하고자 할 경우, 전달량에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량에 의해서 결정된 출력 영상의 손실은 최소가 되어야 하며(2), 동영상일 때는 깜박임 현상을 줄이기 위해 이전 프레임과의 차이가 적어야 한다(3)는 조건이 만족되어야 한다. 상기 3가지의 조건을 만족하는 전달량을 찾는데, 3가지 조건을 비용함수라고 하는 함수로 만들고 이를 최소로 하는 전달량을 찾을 수 있어야 한다. 다시 말해, 비용함수가 최소가 되면, 출력영상의 대조비는 크고, 영상의 손실은 작으며, 동영상의 깜박임 현상이 가장 작다고 할 수 있다.
따라서 최종 비용함수에는 상기 3가지 조건이 모두 포함되어야 하므로 블록 단위 전달량을 계산할 때 이를 모두 포함한 수학식 10과 같은 최종 비용함수를 만들고, 그 최종 비용함수를 이용하여 최종 비용함수 값을 구한다.
상기 블록 단위 전달량 검출 모듈(138)은 상기 최종 비용함수 계산 모듈(136)에서 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출한다. 즉, 블록 단위 전달량은 0부터 1까지의 범위에 해당하는 값 중 하나이므로, 상기 블록 단위 전달량 검출모듈(138)은 0부터 1사이의 값(수)들을 블록단위 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하고, 그 최종 비용함수 값이 최소가 되는 전달량을 블록 단위 전달량으로 검출한다. 여기서, 0부터 1사이의 값(수)은 0.1, 0.2 등과 같은 값을 의미하고, 그 값은 임의의 간격 또는 비율로 변화될 수 있다.
다시 도 1을 참조하면, 상기 제1 픽셀 단위 전달량 추정부(140)는 상기 블록 단위 전달량 추정부(130)에서 검출된 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량으로 변환한다. 상기 에지 보존 필터는 입력 영상의 화소값을 이용하여 픽셀단위의 근사 전달량을 만든다.
상기 제1 픽셀 단위 전달량 추정부(140)는 수학식 11을 이용하여 픽셀 단위의 근사 전달량을 구한다.
입력 영상은 0~255사이의 값을 가지는데, t는 0~1 사이의 값을 가진다. 따라서, 수학식 11은 입력 영상을 이용하여 t를 표현하기 위해서 0~255사이의 값을 a와 b를 통해 0~1 사이로 줄이고, 크기(평균 값)도 비슷하게 맞추고자 한 수식이다.
이때, 동영상에서의 보다 빠른 계산을 위하여 를 계산할 때 W크기의 윈도우를 사용하여 를 계산하고 만큼 이동하여 를 계산한다. 겹치는 영역에서는 를 평균한다. 이동하는 거리 에서 2는 다양한 숫자로 변경가능하다.
상기 제1 픽셀 단위 전달량 추정부(140)에 대해 도 5를 참조하면, 제1 픽셀 단위 전달량 추정부(140)는 근사 전달량 계산모듈(142), 변수계산 모듈(144), 픽셀단위 전달량 검출모듈(146)을 포함한다.
상기 근사 전달량 계산 모듈(142)은 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다.
픽셀 단위 처리의 정확도와 블록 단위 처리의 계산 복잡도를 동시에 만족시키기 위하여 상기 근사 전달량 계산 모듈(142)은 블록을 부분적으로 중첩하여 사용함으로써 계산속도의 향상과 알고리즘의 정확도를 동시에 만족시킨다. 부분적으로 블록을 중첩시키는 방법은 지역적 히스토그램 등화 기법에서도 사용되고 있는 보편적인 방법이다. 도 6에서 도시하는 것과 같이 중첩되는 범위가 늘어날수록 좀 더 많은 블록이 평균에 이용되기 때문에 픽셀단위 결과와 유사한 결과를 얻을 수 있다. 즉 도 6의 (a)는 블록 크기를 1/2로 중첩한 경우이고 (b)는 블록 크기를 1/4로 중첩한 경우를 예시한 도면이다. 상기 예시 도면으로부터 중첩되는 범위가 늘어날수록 좀 더 많은 블록이 평균에 이용되기 때문에 픽셀단위 결과와 유사한 결과를 얻을 수 있다는 것을 알 수 있다.
그러나, 중첩 범위가 늘어날수록 계산 속도 또한 증가하기 때문에, 중첩 횟수를 최소화해야 한다. 또한 부분적 중첩 블록 방법은 픽셀 단위 중첩 방법이 아니기 때문에 블록의 경계에서 블록 열화 현상이 발생하고 중첩 횟수가 줄어들수록 블록 열화는 심해진다.
따라서, 상기 근사 전달량 계산 모듈(142)은 각 블록에 도 7과 같은 가우시안 가중치를 적용하여 블록 열화를 최소화한다. 가우시안 가중치는 각 중첩 블록에 개별적으로 적용하며, 가우시안 가중치를 사용함으로써 경계부분에서의 블러 현상이 줄어들 수 있다.
즉, 상기 근사 전달량 계산 모듈(142)은 {(제1블록의 블록단위 근사 전달량값 *가우시안 가중치) + (제2블록 블록단위 근사 전달량값*가우시안 가중치)}의 식을 이용하여 특정 픽셀의 근사 전달량을 구한다. 이는 전달량은 픽셀 밝기에 비례한다는 원리를 이용하여 구한 것이다.
상기 변수 계산 모듈(144)은 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구한다. 여기서, 변수는 수학식 11에서 a, b를 말한다. 근사 전달량과 블록 단위 전달량의 차이가 최소가 되게 하기 위해서 식을 정의하면 수학식 12와 같다.
여기에서, p는 픽셀위치를 말하고, B는 블록을 의미한다.
수학식 12를 최소로 하는 a, b를 찾기 위해서 변수 계산 모듈(144)는 선형대수에서 사용하는 최소 자승법을 이용한다. 따라서, 상기 변수 계산 모듈(144)는 최소 자승법을 이용하여 a, b를 구한다.
상기 픽셀단위 전달량 검출 모듈(146)은 상기 변수 계산 모듈(144)에서 구해진 변수에 의한 근사 전달량을 제1 픽셀단위 전달량으로 검출한다.
즉, 영상의 데이터는 픽셀마다 변하는데, 계산된 전달량은 블록단위로 계산되어있으므로, 전달량을 이용하여 영상을 복원할 경우 블록의 경계부분에서 전달량 값의 차이로 인하여 블록 열화현상이 나타난다. 상기 블록 열화 현상은 블록의 경계부분에서 픽셀값 차이가 크게 벌어지는 현상을 말한다. 따라서 이러한 블록 열화 현상을 제거하기 위해 블록단위로 계산된 전달량을 픽셀단위 전달량으로 변환해야 한다.
상기 픽셀단위 전달량 검출 모듈(146)은 상기 변수 계산 모듈(144)에서 구해진 변수에 의한 근사 전달량을 제1 픽셀단위 전달량으로 검출한다.
다시 도 1을 참조하면, 상기 영상 확대부(150)는 최근접 이웃 화소 보간법을 이용하여 상기 영상 축소부(120)에서 축소된 영상을 원 영상의 크기로 확대한다. 이때, 상기 영상 확대부(150)는 상기 제1 픽셀단위 전달량 추정부(140)에서 구해진 제1픽셀 단위 전달량도 원 영상의 크기로 확대한다.
상기 제2 픽셀 단위 전달량 추정부(160)는 상기 확대된 제1 픽셀 단위 전달량을 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량으로 변환한다. 즉, 상기 제2 픽셀 단위 전달량 추정부(160)는 상기 확대된 영상의 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다. 그런 다음 상기 제2 픽셀 단위 전달량 추정부(160)는 상기 제1 픽셀 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하고, 상기 구해진 변수에 의한 근사 전달량을 제2 픽셀단위 전달량으로 검출한다. 여기에서는 제2 픽셀 단위 전달량 추정부(160)에서 검출된 픽셀 단위 전달량을 제2 픽셀 단위 전달량으로 칭하였으나, 제2 픽셀 단위 전달량 대신에 픽셀 단위 전달량으로 칭할 수도 있다.
상기 제2 픽셀 단위 전달량 추정부(160)의 구성은 도 5와 같으므로 그 설명은 생략하기로 한다.
본 발명에서 영상 축소부(120), 블록 단위 전달량 추정부(130), 제1 픽셀 단위 전달량 추정부(140), 영상 확대부(150), 제2 픽셀 단위 전달량 추정부(160)는 하나의 구성요소로 구비될 수 있고, 이 경우 전달량 추정부로 칭할 수 있다.
상기 영상 복원부(170)는 상기 안개 밝기 측정부(110)에서 측정된 안개 밝기와 상기 제2 픽셀 단위 전달량 추정부(160)에서 변환된 제2 픽셀 단위 전달량을 이용하여 상기 영상에서 안개를 제거한다.
즉, 상기 영상 복원부(170)는 수학식 13를 이용하여 안개가 제거된 영상을 생성한다.
도 8은 본 발명에 따른 영상 처리 장치가 안개가 포함된 영상을 복원하는 방법을 나타낸 흐름도, 도 9는 본 발명에 따른 중첩 블록에 기반한 에지 보존 필터를 적용한 경우의 화면 예시도이다.
도 8을 참조하면, 영상 처리 장치는 안개가 포함된 동영상이 입력되면(S802), 상기 동영상에서 안개 밝기를 측정한다(S804). 상기 영상 처리 장치가 상기 동영상에서 안개 밝기를 측정하는 방법에 대한 상세한 설명은 도 10을 참조하기로 한다.
상기 S804가 수행되면, 상기 영상 처리 장치는 상기 안개가 포함된 영상을 미리 정해진 일정 크기로 축소하고(S806), 상기 축소된 영상을 미리 정해진 일정 크기의 블록으로 분할하여 블록단위 전달량을 추정한다(S808).
상기 영상 처리 장치가 블록 단위의 전달량을 추정하는 방법에 대한 상세한 설명은 도 11을 참조하기로 한다.
상기 S808이 수행되면, 상기 영상 처리 장치는 상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량으로 변환한다(S810). 상기 영상 처리 장치가 제1 픽셀 단위 전달량을 추정하는 방법에 대한 상세한 설명은 도 12를 참조하기로 한다.
상기 S810이 수행되면, 상기 영상 처리 장치는 상기 제1 픽셀 단위 전달량 및 상기 축소된 영상을 원 영상의 크기로 확대한다(S812). 이때, 상기 영상 처리 장치는 최근접 이웃 화소 보간법을 이용하여 영상을 원 영상의 크기로 확대한다.
상기 S812의 수행 후, 상기 영상 처리 장치는 상기 원 영상의 크기로 확대된 제1 픽셀단위 전달량을 상기 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량을 추정한다(S814). 상기 제2 픽셀 단위 전달량을 추정하는 방법에 대한 상세한 설명은 도 12를 참조하기로 한다.
상기 S814의 수행 후, 상기 영상 처리 장치는 상기 안개 밝기와 상기 제2 픽셀 단위 전달량을 이용한 수학식 13을 이용하여 상기 확대된 영상을 복원한다(S816).
상기 영상 처리 장치가 안개가 포함된 동영상에 에지 보존 필터를 적용한 경우에 대해 도 9를 참조하여 설명하기로 한다.
도 9를 참조하면, (a)와 같이 안개가 포함된 동영상에서 블록 단위 전달량을 적용하면 (b)와 같은 영상이 된다. (b)에 블록 단위 에지 필터를 적용하면 (c)와 같은 영상이 되고, (c)의 영상에 가우시안 가중치를 적용하면 (d)와 같이 경계부분에서의 블록 현상이 줄어든 영상이 된다.
도 10은 본 발명에 따른 영상 처리 장치가 안개 밝기를 측정하는 방법을 나타낸 흐름도이다.
도 10을 참조하면, 영상 처리 장치는 안개 포함 영상을 4개의 블록으로 분할하고(S1002), 각 블록에 대한 화소값의 평균과 표준편차를 각각 구한다(S1004).
그런 다음 상기 영상 처리 장치는 각 블록의 평균과 표준편차의 차에 의한 대표값을 블록별로 각각 구한다(S1006).
그런 다음 상기 영상 처리 장치는 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고(S1008), 그 선택된 블록의 넓이가 200이하인지의 여부를 판단한다(1010).
상기 S1010의 판단결과 선택된 블록의 크기가 200이하인 경우, 상기 영상 처리 장치는 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 안개 밝기로 정의한다(S1012).
만약, 상기 S1010의 판단결과 상기 선택된 블록의 크기가 200이하가 아니면, 상기 영상 처리 장치는 상기 S1002를 수행한다.
도 11을 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도이다.
도 11을 참조하면, 영상 처리 장치는 안개가 포함된 영상을 B크기의 블록으로 분할한다(S1102).
상기 S1102의 수행 후, 상기 영상 처리 장치는 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구한다(S1104). 상기 영상 처리 장치가 대조비, 영상 손실량, 시간 손실량을 구하는 방법에 대한 상세한 설명은 3을 참조하기로 한다.
상기 S1104의 수행 후, 상기 영상 처리 장치는 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하고(S1106), 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 선택한다(S1108).
그런 다음 상기 영상 처리 장치는 상기 선택된 전달량을 블록 단위 전달량으로 검출한다(S1110).
도 12는 본 발명에 따른 영상 처리 장치가 픽셀 단위 전달량을 추정하는 방법을 나타낸 흐름도이다.
도 12를 참조하면, 영상 처리 장치는 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다(S1202).
그런 다음 상기 영상 처리 장치는 미리 구해진 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수 값을 구한다(S1204).
상기 영상 처리 장치는 상기 구해진 변수값에 의한 근사 전달량을 제1 픽셀단위 전달량으로 검출한다(S1206).
본 발명은 비행, 공항, 운송, 해운, 수중감시, 의료영상(체내 가스등에 의해 생성된 뿌연 성분의 제거등), 농업감시, 영상보안 카메라 등 다양한 분야의 영상의 대조비를 향상하는데 활용이 가능하다.
동영상서 안개를 제거하는 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 안개를 포함한 동영상으로부터 안개 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있고, 동영상에서 안개제거 후 발생할 수 있는 flickering 현상을 제거함으로써, 보다 안정적인 안개제거가 가능하며, 고속화된 필터를 도입함으로써 실시간 처리가 가능한 동영상에 포함된 안개 제거를 위한 영상 처리 장치 및 그 방법에 적용될 수 있다.
100 : 영상 처리 장치 110 : 안개 밝기 측정부
120 : 영상 축소부 130 : 블록 단위 전달량 추정부
140 : 제1 픽셀 단위 전달량 추정부 150 : 영상 확대부
160 : 제2 픽셀 단위 전달량 추정부 170 : 영상 복원부
120 : 영상 축소부 130 : 블록 단위 전달량 추정부
140 : 제1 픽셀 단위 전달량 추정부 150 : 영상 확대부
160 : 제2 픽셀 단위 전달량 추정부 170 : 영상 복원부
Claims (19)
- 안개가 포함된 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하고, 각 블록의 대표값을 근거로 안개 밝기를 측정하는 안개 밝기 측정부;
상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하는 전달량 추정부; 및
상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부;
를 포함하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제1항에 있어서,
상기 안개 밝기 측정부는,
상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈;
상기 분할된 각 블록별로 픽셀값의 평균과 표준편차를 각각 구하고, 각 블록별 평균과 표준편차를 이용하여 대표값을 각각 구하는 대표값 계산 모듈; 및
상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 안개 밝기로 선택하는 화소값 선택 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제1항에 있어서,
상기 전달량 추정부는,
상기 안개가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부; 및
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 제1 픽셀 단위 전달량 추정부를 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제3항에 있어서,
상기 안개가 포함된 영상을 미리 정해진 일정 크기로 축소하고, 상기 축소된 영상을 상기 블록단위 전달량 추정부로 전송하는 영상 축소부를 더 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제4항에 있어서,
상기 축소된 영상과 상기 제1 픽셀 단위 전달량을 원 영상의 크기로 확대하는 영상 확대부; 및
상기 확대된 제1 픽셀 단위 전달량에 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량을 추정하는 제2 픽셀단위 전달량 추정부를 더 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제3항에 있어서,
상기 블록 단위 전달량 추정부는,
상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈;
각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 비용함수 계산모듈;
상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈; 및
상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제6항에 있어서,
상기 비용함수 계산 모듈은 각 화소의 밝기값을 이용한 분산에 (-1)을 곱하여 대조비(Ec)를 구하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제6항에 있어서,
상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제6항에 있어서,
상기 비용함수 계산 모듈은 이전 프레임의 블록단위 전달량에 객체의 이동에 따라 전달량을 보정해주는 블록단위 보정계수를 적용하여 상기 이전 프레임의 블록단위 전달량을 보정하고, 상기 보정된 이전 프레임의 블록단위 전달량과 현재 프레임의 블록단위 전달량을 이용하여, 영상의 시간적 차이를 최소화하는 시간 손실량을 구하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제6항에 있어서,
상기 최종 비용함수 계산 모듈은 상기 대조비, 영상 손실량, 시간 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제5항에 있어서,
상기 제1 또는 제2 픽셀 단위 전달량 추정부는
블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 근사 전달량 계산모듈;
상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 변수 계산 모듈; 및
상기 구해진 변수에 의한 근사 전달량을 제1 또는 제2 픽셀단위 전달량으로 검출하는 픽셀단위 전달량 검출 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 제5에 있어서,
상기 영상 확대부는 최근접 이웃 화소 보간법을 이용하여 상기 축소된 영상을 원 영상의 크기로 확대하는 것을 특징으로 하는 동영상에 포함된 안개 제거를 위한 영상 처리 장치. - 영상 처리 장치가 안개가 포함된 동영상을 복원하는 방법에 있어서,
(a) 안개가 포함된 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하고, 각 블록의 대표값을 근거로 안개 밝기를 측정하는 단계;
(b) 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 픽셀 단위 전달량을 추정하는 단계; 및
(c) 상기 안개 밝기와 상기 픽셀 단위 전달량을 이용하여 상기 영상을 복원하는 단계;
를 포함하는 동영상에 포함된 안개 제거 방법. - 제13항에 있어서,
상기 (a)단계는,
상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계;
상기 분할된 각 블록별로 픽셀값의 평균과 표준편차를 각각 구하는 단계;
각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계;
상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계;
상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계; 및
상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 안개 밝기로 추정하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법. - 제13항에 있어서,
상기 (b) 단계는,
상기 안개가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계;
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법. - 제15항에 있어서,
상기 블록단위 전달량을 추정하는 단계 이전에,
상기 안개가 포함된 영상을 미리 정해진 일정 크기로 축소하는 단계를 더 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법. - 제16항에 있어서,
상기 제1 픽셀단위 전달량을 추정하는 단계 이후,
상기 축소된 영상과 상기 제1 픽셀 단위 전달량을 원 영상의 크기로 확대하는 단계; 및
상기 확대된 제1 픽셀 단위 전달량에 에지 보존 필터에 적용하여 제2 픽셀 단위 전달량을 추정하는 단계를 더 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법. - 제15항에 있어서,
상기 블록단위 전달량을 추정하는 단계는,
상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하는 단계;
각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 단계;
상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하는 단계; 및
상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법. - 제15항에 있어서,
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 픽셀 단위 전달량을 추정하는 단계는,
상기 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 단계;
상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 단계; 및
상기 구해진 변수에 의한 근사 전달량을 제1 픽셀단위 전달량으로 검출하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 안개 제거 방법.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120051330A KR101582479B1 (ko) | 2012-05-15 | 2012-05-15 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
PCT/KR2013/003859 WO2013172580A1 (ko) | 2012-05-15 | 2013-05-03 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
CN201380025254.2A CN104303208B (zh) | 2012-05-15 | 2013-05-03 | 用于去除包含在视频中的雾的图像处理装置及其方法 |
EP13790547.7A EP2851865B1 (en) | 2012-05-15 | 2013-05-03 | Image-processing apparatus for removing haze contained in video, and method therefor |
JP2015512566A JP5865552B2 (ja) | 2012-05-15 | 2013-05-03 | 動画に含まれたヘーズを除去する映像処理装置及びその方法 |
US14/542,992 US9275443B2 (en) | 2012-05-15 | 2014-11-17 | Image-processing apparatus for removing haze contained in video, and method therefof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120051330A KR101582479B1 (ko) | 2012-05-15 | 2012-05-15 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130127654A true KR20130127654A (ko) | 2013-11-25 |
KR101582479B1 KR101582479B1 (ko) | 2016-01-19 |
Family
ID=49583947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120051330A KR101582479B1 (ko) | 2012-05-15 | 2012-05-15 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9275443B2 (ko) |
EP (1) | EP2851865B1 (ko) |
JP (1) | JP5865552B2 (ko) |
KR (1) | KR101582479B1 (ko) |
CN (1) | CN104303208B (ko) |
WO (1) | WO2013172580A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150101872A (ko) * | 2014-02-27 | 2015-09-04 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
KR20190091900A (ko) * | 2018-01-30 | 2019-08-07 | 한국기술교육대학교 산학협력단 | 안개 제거를 위한 영상처리장치 |
KR102583922B1 (ko) * | 2023-09-04 | 2023-10-05 | 엘텍코리아 주식회사 | 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101582478B1 (ko) * | 2012-05-03 | 2016-01-19 | 에스케이 텔레콤주식회사 | 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
JP6282095B2 (ja) * | 2013-11-27 | 2018-02-21 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
US9445007B1 (en) * | 2015-02-25 | 2016-09-13 | Qualcomm Incorporated | Digital zoom methods and systems |
KR102390918B1 (ko) * | 2015-05-08 | 2022-04-26 | 한화테크윈 주식회사 | 안개 제거 시스템 |
CN106709876B (zh) * | 2015-08-27 | 2020-04-14 | 上海沃韦信息科技有限公司 | 一种基于暗像元原理的光学遥感图像去雾方法 |
JP6579868B2 (ja) | 2015-09-01 | 2019-09-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP6635799B2 (ja) * | 2016-01-20 | 2020-01-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
TWI580266B (zh) * | 2016-02-15 | 2017-04-21 | 聯詠科技股份有限公司 | 影像處理裝置 |
JP6818463B2 (ja) * | 2016-08-08 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10269098B2 (en) * | 2016-11-01 | 2019-04-23 | Chun Ming Tsang | Systems and methods for removing haze in digital photos |
US10477128B2 (en) * | 2017-01-06 | 2019-11-12 | Nikon Corporation | Neighborhood haze density estimation for single-image dehaze |
CN107317968B (zh) * | 2017-07-27 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像去雾方法、装置、计算机可存储介质和移动终端 |
TWI674804B (zh) * | 2018-03-15 | 2019-10-11 | 國立交通大學 | 視訊除霧處理裝置及方法 |
CN110009580B (zh) * | 2019-03-18 | 2023-05-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
CN110544220B (zh) * | 2019-09-05 | 2022-02-22 | 北京天玛智控科技股份有限公司 | 一种煤矿井下视频图像智能去雾方法、存储介质及*** |
CN110880165A (zh) * | 2019-10-15 | 2020-03-13 | 杭州电子科技大学 | 一种基于轮廓和颜色特征融合编码的图像去雾方法 |
CN111915530B (zh) * | 2020-08-06 | 2022-07-29 | 温州大学 | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 |
CN114066780B (zh) * | 2022-01-17 | 2022-06-03 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829581B1 (ko) * | 2006-11-28 | 2008-05-14 | 삼성전자주식회사 | 영상 처리 방법, 기록매체 및 장치 |
KR20100021952A (ko) * | 2008-08-18 | 2010-02-26 | 삼성테크윈 주식회사 | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 |
JP2012027547A (ja) * | 2010-07-20 | 2012-02-09 | Mitsubishi Electric Corp | 画像処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3146143B2 (ja) * | 1995-11-09 | 2001-03-12 | 名古屋電機工業株式会社 | 画像処理による視界の測定方法およびその装置 |
JP4776587B2 (ja) * | 2007-06-13 | 2011-09-21 | 国立大学法人北海道大学 | 画像処理装置,運転支援装置 |
KR101446774B1 (ko) * | 2008-03-10 | 2014-10-01 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
JP4807439B2 (ja) * | 2009-06-15 | 2011-11-02 | 株式会社デンソー | 霧画像復元装置及び運転支援システム |
TWI423166B (zh) * | 2009-12-04 | 2014-01-11 | Huper Lab Co Ltd | 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法 |
US8340461B2 (en) * | 2010-02-01 | 2012-12-25 | Microsoft Corporation | Single image haze removal using dark channel priors |
KR101124878B1 (ko) * | 2010-04-28 | 2012-03-27 | 성균관대학교산학협력단 | 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치 |
US20120213436A1 (en) * | 2011-02-18 | 2012-08-23 | Hexagon Technology Center Gmbh | Fast Image Enhancement and Three-Dimensional Depth Calculation |
US8582915B2 (en) * | 2011-06-27 | 2013-11-12 | Wuxi Jinnang Technology Development Ltd. | Image enhancement for challenging lighting conditions |
CN102254313B (zh) * | 2011-07-14 | 2012-09-19 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
US8885962B1 (en) * | 2012-07-23 | 2014-11-11 | Lockheed Martin Corporation | Realtime long range imaging scatter reduction |
-
2012
- 2012-05-15 KR KR1020120051330A patent/KR101582479B1/ko active IP Right Grant
-
2013
- 2013-05-03 WO PCT/KR2013/003859 patent/WO2013172580A1/ko active Application Filing
- 2013-05-03 JP JP2015512566A patent/JP5865552B2/ja active Active
- 2013-05-03 CN CN201380025254.2A patent/CN104303208B/zh active Active
- 2013-05-03 EP EP13790547.7A patent/EP2851865B1/en active Active
-
2014
- 2014-11-17 US US14/542,992 patent/US9275443B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829581B1 (ko) * | 2006-11-28 | 2008-05-14 | 삼성전자주식회사 | 영상 처리 방법, 기록매체 및 장치 |
KR20100021952A (ko) * | 2008-08-18 | 2010-02-26 | 삼성테크윈 주식회사 | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 |
JP2012027547A (ja) * | 2010-07-20 | 2012-02-09 | Mitsubishi Electric Corp | 画像処理装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150101872A (ko) * | 2014-02-27 | 2015-09-04 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
US9280808B2 (en) | 2014-02-27 | 2016-03-08 | Hanwha Techwin Co., Ltd. | Method and apparatus for processing image |
KR20190091900A (ko) * | 2018-01-30 | 2019-08-07 | 한국기술교육대학교 산학협력단 | 안개 제거를 위한 영상처리장치 |
KR102583922B1 (ko) * | 2023-09-04 | 2023-10-05 | 엘텍코리아 주식회사 | 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2015519837A (ja) | 2015-07-09 |
EP2851865A4 (en) | 2016-01-20 |
EP2851865A1 (en) | 2015-03-25 |
US20150071563A1 (en) | 2015-03-12 |
CN104303208A (zh) | 2015-01-21 |
KR101582479B1 (ko) | 2016-01-19 |
CN104303208B (zh) | 2018-02-09 |
US9275443B2 (en) | 2016-03-01 |
EP2851865B1 (en) | 2018-07-25 |
JP5865552B2 (ja) | 2016-02-17 |
WO2013172580A1 (ko) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20130127654A (ko) | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 | |
KR101582478B1 (ko) | 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 | |
Kaur et al. | Color image dehazing using gradient channel prior and guided l0 filter | |
Tripathi et al. | Single image fog removal using bilateral filter | |
KR101498532B1 (ko) | 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템 | |
JP3898224B2 (ja) | 画像エンハンスメント | |
CN103218778B (zh) | 一种图像和视频的处理方法及装置 | |
KR101426298B1 (ko) | 안개 제거율을 높인 영상보정장치 및 방법 | |
Frakes et al. | Suppression of atmospheric turbulence in video using an adaptive control grid interpolation approach | |
CN102665034A (zh) | 一种针对摄像机采集视频的夜间效果去除方法 | |
JP2012168936A (ja) | 動画処理装置及び動画処理方法 | |
Yadav et al. | Fog removal techniques from images: A comparative review and future directions | |
US20150228085A1 (en) | Image processing device | |
KR20150101872A (ko) | 영상 처리 장치 및 방법 | |
CN102768756A (zh) | 目标探测多谱图像的通用复原方法 | |
CN108876807B (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
KR20140137832A (ko) | 전달률 하한치를 이용한 안개영상 개선 장치 | |
Trongtirakul et al. | Transmission map optimization for single image dehazing | |
Xu et al. | Features based spatial and temporal blotch detection for archive video restoration | |
CN111652821A (zh) | 基于梯度信息的微光视频图像降噪处理方法、装置和设备 | |
KR101867925B1 (ko) | 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 | |
Zhao et al. | An improved image deconvolution approach using local constraint | |
Negru et al. | Exponential image enhancement in daytime fog conditions | |
KR102342940B1 (ko) | 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법 | |
Alajarmeh et al. | A real-time framework for video Dehazing using bounded transmission and controlled Gaussian filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181203 Year of fee payment: 4 |