KR102182695B1 - 영상 잡음 제거 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 잡음 제거 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 영상 잡음 제거 장치는, 입력 프레임과 기준 프레임으로부터 검출된 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 상기 입력 프레임의 시간적 잡음 제거 강도를 조절하여 시간적 잡음 제거된 제1 출력 프레임을 생성하는 시간적 잡음 제거부; 및 상기 제1 출력 프레임의 주변 화소들 간의 유사도 및 상기 움직임 정도를 기초로 상기 제1 출력 프레임의 공간적 잡음 제거 강도를 조절하여 공간적 잡음 제거된 최종 출력 프레임을 생성하는 공간적 잡음 제거부;를 포함할 수 있다.

Description

영상 잡음 제거 장치 및 방법{Method and Apparatus for Noise Reduction}

본 발명의 실시예는 영상 잡음 제거 장치 및 방법에 관한 것이다.

종래의 시공간 잡음 제거 기술은 시간적 잡음 제거와 공간적 잡음 제거를 구별하고, 움직임이 없는 영역에서는 시간적 잡음 제거의 가중치를 높이고, 움직임이 있는 영역에서는 공간적 잡음 제거의 가중치를 높이는 방법을 취하고 있다. 또한 시간적 잡음 제거 수행시 이전 프레임을 그대로 사용하거나 아니면 이전 프레임에서 계산한 시간적 잡음 제거 결과를 저장하여 사용한다.

미국 등록특허 제8175414호

본 발명은 잡음 제거 효과를 높이고 모션 블러를 줄일 수 있는 영상의 잡음을 제거하는 장치 및 방법을 제시한다.

본 발명의 실시예에 따른 영상 잡음 제거 장치는, 입력 프레임과 기준 프레임으로부터 검출된 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 상기 입력 프레임의 시간적 잡음 제거 강도를 조절하여 시간적 잡음 제거된 제1 출력 프레임을 생성하는 시간적 잡음 제거부; 및 상기 제1 출력 프레임의 주변 화소들 간의 유사도 및 상기 움직임 정도를 기초로 상기 제1 출력 프레임의 공간적 잡음 제거 강도를 조절하여 공간적 잡음 제거된 최종 출력 프레임을 생성하는 공간적 잡음 제거부;를 포함할 수 있다.

상기 시간적 잡음 제거부는, 상기 움직임 정도를 검출하고, 상기 움직임 정도에 따른 제1 움직임 가중치를 결정하는 움직임 검출부; 및 상기 제1 움직임 가중치를 이용하여 상기 입력 프레임과 상기 기준 프레임을 가중합함으로써 상기 제1 출력 프레임을 생성하는 시간적 잡음 필터;를 포함할 수 있다.

상기 제1 움직임 가중치는 0과 1 사이의 값을 가지며, 상기 움직임 정도가 클수록 1에 가까운 값을 가질 수 있다.

상기 움직임 검출부는, 상기 입력 프레임을 저역통과 필터링한 제1필터링 값과 상기 기준 프레임을 저역통과 필터링한 제2필터링 값 중 최대값에 대한 제1필터링 값의 비율을 기초로 상기 픽셀 기반 움직임 정도를 나타내는 제1 검출 값을 산출하는 제1 움직임 검출부; 상기 입력 프레임을 복수의 블록들로 분할하는 블록 분할부; 각 블록을 구성하는 픽셀들의 상기 제1 검출 값들을 평균한 제2 검출 값을 산출하고, 현재 픽셀을 포함하는 블록과 주변 블록들의 상기 제2 검출 값들을 보간하여 상기 현재 픽셀의 블록 기반 움직임 정도를 나타내는 제3 검출 값을 산출하는 제2 움직임 검출부; 및 상기 입력 프레임의 제1 검출 값과 이전 입력 프레임의 제3 검출 값을 기초로 상기 제1 움직임 가중치를 산출하는 가중치 결정부;를 포함할 수 있다.

상기 가중치 결정부는, 상기 제1 검출 값에 대응하는 제1 가중치를 결정하는 제1 가중치 결정부; 및 상기 제3 검출 값에 대응하는 제2 가중치를 결정하는 제2 가중치 결정부;를 포함하고, 상기 제1 가중치와 상기 제2 가중치의 곱에 의해 상기 제1 움직임 가중치를 산출할 수 있다.

상기 공간적 잡음 제거부는, 상기 제1 출력 프레임의 소정 윈도우 내에서 현재 픽셀을 중심으로 하는 패치와 주변 픽셀을 중심으로 하는 패치 간의 유사도를 측정하는 패턴 매칭부; 및 상기 패치 간의 유사도에 따라 상기 주변 픽셀에 가중치를 적용하여 가중평균함으로써 제2 출력 프레임을 생성하고, 상기 움직임 정도에 따른 제2 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 최종 출력 프레임을 생성하는 공간적 잡음 필터;를 포함할 수 있다.

상기 장치는, 상기 움직임 정도에 따른 제3 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 기준 프레임을 생성하는 기준 프레임 생성부;를 더 포함할 수 있다.

상기 제3 움직임 가중치는 상기 제2 움직임 가중치보다 작은 값을 가질 수 있다.

상기 제2 움직임 가중치 및 상기 제3 움직임 가중치는 0과 1 사이의 값을 가지며, 상기 움직임 정도가 클수록 1에 가까운 값을 가질 수 있다.

상기 기준 프레임은 시간적 잡음 및 공간적 잡음이 제거된 프레임일 수 있다.

본 발명의 실시예에 따른 영상 잡음 제거 방법은, 입력 프레임과 기준 프레임으로부터 검출된 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 상기 입력 프레임의 시간적 잡음 제거 강도를 조절하여 시간적 잡음 제거된 제1 출력 프레임을 생성하는 단계; 및 상기 제1 출력 프레임의 주변 화소들 간의 유사도 및 상기 움직임 정도를 기초로 상기 제1 출력 프레임의 공간적 잡음 제거 강도를 조절하여 공간적 잡음 제거된 최종 출력 프레임을 생성하는 단계;를 포함할 수 있다.

상기 제1 출력 프레임 생성 단계는, 상기 움직임 정도를 검출하고, 상기 움직임 정도에 따른 제1 움직임 가중치를 결정하는 단계; 및 상기 제1 움직임 가중치를 이용하여 상기 입력 프레임과 상기 기준 프레임을 가중합함으로써 상기 제1 출력 프레임을 생성하는 단계;를 포함할 수 있다.

상기 제1 움직임 가중치는 0과 1 사이의 값을 가지며, 상기 움직임 정도가 클수록 1에 가까운 값을 가질 수 있다.

상기 제1 움직임 가중치 결정 단계는, 상기 입력 프레임을 저역통과 필터링한 제1필터링 값과 상기 기준 프레임을 저역통과 필터링한 제2필터링 값 중 최대값에 대한 제1필터링 값의 비율을 기초로 상기 픽셀 기반 움직임 정도를 나타내는 제1 검출 값을 산출하는 단계; 상기 입력 프레임을 복수의 블록들로 분할하는 단계; 각 블록을 구성하는 픽셀들의 상기 제1 검출 값들을 평균한 제2 검출 값을 산출하는 단계; 현재 픽셀을 포함하는 블록과 주변 블록들의 상기 제2 검출 값들을 보간하여 상기 현재 픽셀의 블록 기반 움직임 정도를 나타내는 제3 검출 값을 산출하는 단계; 및 상기 입력 프레임의 제1 검출 값과 이전 입력 프레임의 제3 검출 값을 기초로 상기 제1 움직임 가중치를 산출하는 단계;를 포함할 수 있다.

상기 제1 움직임 가중치 산출 단계는, 상기 제1 검출 값에 대응하는 제1 가중치를 결정하는 단계; 상기 제3 검출 값에 대응하는 제2 가중치를 결정하는 단계; 및 상기 제1 가중치와 상기 제2 가중치의 곱에 의해 상기 제1 움직임 가중치를 산출하는 단계;를 포함할 수 있다.

상기 최종 출력 프레임 생성 단계는, 상기 제1 출력 프레임의 소정 윈도우 내에서 현재 픽셀을 중심으로 하는 패치와 주변 픽셀을 중심으로 하는 패치 간의 유사도를 측정하는 단계; 상기 패치 간의 유사도에 따라 상기 주변 픽셀에 가중치를 적용하여 가중평균함으로써 제2 출력 프레임을 생성하는 단계; 및 상기 움직임 정도에 따른 제2 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 최종 출력 프레임을 생성하는 단계;를 포함할 수 있다.

상기 방법은, 상기 움직임 정도에 따른 제3 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 기준 프레임을 생성하는 단계;를 더 포함할 수 있다.

상기 제3 움직임 가중치는 상기 제2 움직임 가중치보다 작은 값을 가질 수 있다.

상기 제2 움직임 가중치 및 상기 제3 움직임 가중치는 0과 1 사이의 값을 가지며, 상기 움직임 정도가 클수록 1에 가까운 값을 가질 수 있다.

상기 기준 프레임은 시간적 잡음 및 공간적 잡음 제거된 프레임일 수 있다.

본 발명의 실시예는 시간적 잡음 및 공간적 잡음이 모두 제거된 프레임을 기준 프레임으로 사용함으로써 잡음 제거 효과를 높이고 모션 블러를 줄일 수 있다.

또한 본 발명의 실시예는 픽셀 레벨 및 블록 레벨의 움직임을 추정하여 시간적 잡음 제거 성능을 극대화할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 잡음 제거 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 움직임 검출부의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 제1 룩업테이블로서 그래프를 예시하고 있다.
도 4는 본 발명의 실시예에 따른 제2 룩업테이블로서 그래프를 예시하고 있다.
도 5 및 도 6은 본 발명의 실시예에 따른 블록 기반 움직임 정도를 검출하는 방법을 설명하는 도면이다.
도 7은 본 발명의 실시예에 따른 공간적 잡음 필터의 구성을 개략적으로 도시한 블록도이다.
도 8 내지 도 11은 본 발명의 실시예에 따른 영상 잡음 제거 방법을 개략적으로 설명하는 흐름도이다.

이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면상의 동일한 부호는 동일한 요소를 지칭한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들이 이러한 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명의 실시예에 따른 영상 잡음 제거 장치를 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 영상 잡음 제거 장치(1)는 시간적 잡음 제거부(10), 공간적 잡음 제거부(50) 및 메모리(90)를 포함한다.

영상(또는 동영상)은 프레임 단위로 영상 잡음 제거 장치(1)로 입력된다.

시간적 잡음 제거부(10)는 입력 프레임(IN)과 기준 프레임(PIG)으로부터 검출된 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 입력 프레임(IN)의 시간적 잡음 제거 강도를 조절하여 시간적 잡음 제거된 제1 출력 프레임(OUT_TNF)을 생성 및 출력한다. 기준 프레임(PIG)은 시간적 잡음 및 공간적 잡음이 제거된 이전 프레임이다.

시간적 잡음 제거와 공간적 잡음 제거의 가중치를 가변하는 이유는 움직임에 따른 모션 블러 현상을 최소화하기 위함이다. 시공간 잡음 제거시 모션 블러 발생을 적게 하기 위하여 기존에는 움직임이 발생한 영역에는 공간적 잡음 제거의 가중치를 높이는 방법을 택하고 있다. 시간적 잡음 제거는 움직임이 없는 경우 영상의 뭉개짐이 없기 때문에 공간적 잡음 제거보다 잡음 제거 성능이 탁월하다. 그에 반해 공간적 잡음 제거는 시간적 잡음 제거보다 성능은 떨어지지만, 현재 프레임의 현재 화소 및 그 주변 화소만을 이용하여 필터링하기 때문에 모션 블러가 발생하지 않는다. 따라서 단순히 공간적 잡음 제거의 가중치를 높이는 방법은 움직임이 없는 영역은 잡음을 깨끗하게 제거할 수 있지만, 움직임이 있는 영역에서는 움직임이 없는 영역 수준의 잡음 제거가 어렵다.

또한 픽셀 레벨로 움직임을 추정하면 단순 잡음을 움직임으로 잘못 추정하게 되어 시간적 잡음 제거의 성능을 극대화할 수 없다.

따라서 본 발명의 실시예는 움직임이 있는 영역의 잡음제거 성능을 향상시키기 위하여 시간적 잡음 제거를 위해 사용되는 기준 프레임을 단순히 이전 입력 프레임이나 이전 시간적 잡음 제거된 프레임을 사용하지 않고 시공간 필터링한 이전 프레임을 사용한다.

그리고, 픽셀 레벨의 움직임 검출로 인한 시간적 잡음 제거 효과 감소를 방지하기 위하여 픽셀 레벨 움직임 검출과 블록 레벨의 움직임 검출을 동시에 사용하여 움직임 오검출률을 낮춘다. 이에 따라 본 발명의 실시예는 움직임 영역과 움직임이 없는 영역 모두의 잡음 제거 효과를 높일 수 있다. 뿐만 아니라 움직임이 있는 영역의 잡음 제거 효과를 높여 모션 블러의 발생을 감소시킬 수 있다. 또한 기존의 LAD(Low Pass Filtered Absolute Difference) 방식의 움직임 검출 방식이 아닌 새로운 LAR(Low Pass Filtered Absolute Ratio) 방식을 사용하여 움직임을 검출하고, 블록 기반의 움직임 검출 결과를 함께 사용하여 움직임 검출 오류를 줄일 수 있다.

기준 프레임(PIG) 생성에 대한 상세한 설명은 후술하겠다.

시간적 잡음 제거부(10)는 움직임 검출부(20) 및 시간적 잡음 필터(30)를 포함할 수 있다.

움직임 검출부(20)는 입력 프레임(IN)과 기준 프레임(PIG)으로부터 움직임 정도를 검출하고, 움직임 정도에 따른 제1 움직임 가중치(W)를 결정할 수 있다.

도 2는 본 발명의 실시예에 따른 움직임 검출부의 구성을 개략적으로 도시한 블록도이다.

도 2를 참조하면, 움직임 검출부(20)는 제1 움직임 검출부(201), 블록 분할부(202), 제2 움직임 검출부(203), 가중치 결정부(204), 제1 룩업테이블(205) 및 제2 룩업테이블(208)을 포함할 수 있다.

제1 움직임 검출부(201)는 입력 프레임(IN)을 저역통과 필터링(LPF)한 제1필터링 값(LPF(IN))과 기준 프레임(PIG)을 저역통과 필터링한 제2필터링 값(LPF(PIG)) 중 최대값(Max(a,b))에 대한 제1필터링 값(LPF(IN))의 비율을 기초로 픽셀 단위의 움직임 정도(LAR)를 산출하고, 움직임 정도(LAR)를 나타내는 제1 검출 값(pxl_mtn)을 산출 및 출력할 수 있다.

본 발명의 실시예는 하기 식(1)과 같이 LAR(Low Pass Filtered Absolute Ratio)을 사용하여 움직임 정도를 산출한다. 여기서, Offset은 움직임 검출 강도를 조절하는 파라미터로서, 사용자에 의해 임의로 설정될 수 있다.

...(1)

현재 프레임의 현재 픽셀을 중심으로 하는 마스크의 LPF 값과 기준 프레임으로서 이전 프레임의 동일 위치의 LPF 값과의 차이인 LAD(Low Pass Filtered Absolute Difference)를 이용하는 경우, 밝기 값에 따라 실질적인 움직임 검출 정도가 달라져 그 정확성이 떨어진다. 예를 들어, 저조도 환경에서는 LAD 값이 10 정도이면 움직임으로 볼 수 있지만, 밝은 영역에서 10 정도의 값은 모션이 아닌 잡음인 경우가 많다. 반대로 밝은 영역에 맞추어 값을 설정할 경우 어두운 영역에서는 움직임을 검출할 수 없게 된다. 본 발명의 실시예는 현재 프레임과 기준 프레임의 LPF 값의 차이가 아닌 현재 프레임과 기준 프레임의 비율에 따라 움직임 검출 강도를 결정하기 때문에 영상의 밝기에 무관하게 정확한 움직임 검출이 가능하다.

블록 분할부(202)는 입력 프레임(IN)을 복수의 블록들로 분할한다.

제2 움직임 검출부(203)는 각 블록을 구성하는 픽셀들의 제1 검출 값(pxl_mtn)들을 평균한 제2 검출 값(blk_mtn')을 산출할 수 있다. 제2 움직임 검출부(203)는 현재 픽셀을 포함하는 블록과 주변 블록들의 제2 검출 값(blk_mtn')들을 선형 보간하여 현재 픽셀의 블록 기반 움직임 정도를 나타내는 제3 검출 값(blk_mtn)을 산출 및 출력할 수 있다.

도 5 및 도 6은 본 발명의 실시예에 따른 블록 기반 움직임 정도를 검출하는 방법을 설명하는 도면이다.

도 5를 참조하면, 입력 프레임(IN)은 소정 사이즈의 NxN 블록들로 분할된다. 도 5는 소정 사이즈의 블록들(B11, B12, B13, ..., B21, B22, B23, ..., B31, B32, B33, ...)을 도시하고 있다. 각 블록에 포함된 NxN개의 픽셀들 각각의 제1 검출 값(pxl_mtn)들을 평균한 값이 제2 검출 값(blk_mtn')으로서 계산된다.

도 6을 참조하면, 입력 프레임(IN)에서 현재 픽셀(P)이 속하는 블록(B22)의 주변 블록들, 예를 들어 블록들(B11, B12, B21) 각각의 중심과 현재 픽셀(P) 간의 거리를 이용하여, 현재 픽셀(P)에서 주변 블록들(B11, B12, B21)의 제2 검출 값(blk_mtn')들을 선형 보간한다. 이에 따라 현재 픽셀(P)의 블록 기반 움직임 정도를 나타내는 제3 검출 값(blk_mtn)이 산출될 수 있다.

주변 블록들은 현재 픽셀(P)이 속하는 블록(B22)을 기준으로 소정 개수로 설정될 수 있으며, 도 6의 실시예와 같이 블록들(B11, B12, B21)을 설정하거나, 블록들(B12, B13, B23), 블록들(B12, B21, B23, B32), 또는 블록들(B11, B12, B13, B21, B23, B31, B32, B33)을 주변 블록들로 설정할 수 있으며, 특별히 제한되지 않는다.

가중치 결정부(204)는 현재 입력 프레임의 제1 검출 값(pxl_mtn)과 이전 입력 프레임의 제3 검출 값(blk_mtn)을 기초로 제1 움직임 가중치를 산출할 수 있다. 예를 들어, n번째 입력 프레임(IN(n))과 n번째 기준 프레임(PIG(n))으로부터 검출된 제1 검출 값(pxl_mtn)과, n-1번째 입력 프레임(IN(n-1))과 n-1번째 기준 프레임(PIG(n-1))으로부터 검출된 제3 검출 값(blk_mtn)으로부터 제1 움직임 가중치(W)를 산출할 수 있다. 즉, 제1 움직임 가중치(W)를 계산하기 위해서, 픽셀 기반의 움직임 검출은 현재 프레임에 대해 검출되고, 블록 기반의 움직임 검출은 이전 프레임에 대해 검출된다.

가중치 결정부(204)는 제1 룩업테이블(LUT)(205), 제1 가중치 결정부(206), 제2 룩업테이블(LUT)(207) 및 제2 가중치 결정부(208)를 포함할 수 있다.

제1 가중치 결정부(206)는 제1 LUT(205)를 이용하여 제1 검출 값(pxl_mtn)에 대응하는 제1 가중치(Wpixel)를 결정할 수 있다. 제1 가중치(Wpixel)는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 가지며, 움직임 정도가 작을수록 0에 가까운 값을 갖는다.

제1 LUT(205)는 픽셀 기반의 움직임 검출 결과에 따른 제1 검출 값(pxl_mtn)과 제1 가중치(Wpixel) 간의 관계를 나타내는 표 또는 그래프이다. 도 3은 본 발명의 실시예에 따른 제1 룩업테이블로서 그래프를 예시하고 있다. 도 3의 그래프에서 x축은 픽셀 기반의 움직임 검출 결과에 따른 제1 검출 값(pxl_mtn)을 나타내고, y축은 제1 가중치(Wpixel)를 나타낸다.

제1 가중치 결정부(206)는 제1 검출 값(pxl_mtn)이 최소 임계치(pxl_mtn_A) 이하이면 최소의 제1 가중치(Low limit)를 결정하고, 제1 검출 값(pxl_mtn)이 최대 임계치(pxl_mtn_B) 이상이면 최대의 제1 가중치(Hi limit)를 결정하고, 제1 검출 값(pxl_mtn)이 최소 임계치(pxl_mtn_A)와 최대 임계치(pxl_mtn_B) 사이이면 최소의 제1 가중치(Low limit)와 최대의 제1 가중치(Hi limit) 사이의 값을 결정할 수 있다. 여기서, 최소의 제1 가중치(Low limit)는 0이고, 최대의 제1 가중치(Hi limit)는 1일 수 있다.

제2 가중치 결정부(208)는 제2 LUT(207)를 이용하여 제3 검출 값(blk_mtn)에 대응하는 제2 가중치(Wblock)를 결정할 수 있다. 제2 가중치(Wblock)는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 가지며, 움직임 정도가 작을수록 0에 가까운 값을 갖는다.

제2 LUT(207)는 블록 기반의 움직임 검출 결과에 따른 제3 검출 값(pxl_mtn)과 제2 가중치(Wpixel) 간의 관계를 나타내는 표 또는 그래프이다. 도 4는 본 발명의 실시예에 따른 제2 룩업테이블로서 그래프를 예시하고 있다. 도 4의 그래프에서 x축은 블록 기반의 움직임 검출 결과에 따른 제3 검출 값(blk_mtn)을 나타내고, y축은 제2 가중치(Wblock)를 나타낸다.

제2 가중치 결정부(208)는 제3 검출 값(blk_mtn)이 최소 임계치(blk_mtn_A) 이하이면 최소의 제2 가중치(Low limit)를 결정하고, 제3 검출 값(blk_mtn)이 최대 임계치(blk_mtn_B) 이상이면 최대의 제2 가중치(Hi limit)를 결정하고, 제3 검출 값(blk_mtn)이 최소 임계치(blk_mtn_A)와 최대 임계치(blk_mtn_B) 사이이면 최소의 제2 가중치(Low limit)와 최대의 제2 가중치(Hi limit) 사이의 값을 결정할 수 있다. 여기서, 최소의 제2 가중치(Low limit)는 0이고, 최대의 제2 가중치(Hi limit)는 1일 수 있다.

가중치 결정부(204)는 하기 식(2)와 같이 제1 가중치(Wpixel)와 제2 가중치(Wblock)의 곱에 의해 제1 움직임 가중치(W)를 산출할 수 있다.

...(2)

픽셀 기반의 움직임을 검출하는 경우 잡음을 움직임으로 검출할 수 있다. 이 경우 움직임이 없는 영역에서 시간적 잡음 제거의 효과가 반감되고 영상에서 지글거리는 효과가 발생한다. 본 발명의 실시예에서는 픽셀 기반의 움직임 검출에 추가하여 블록 기반의 움직임을 검출함으로써 픽셀 기반의 움직임 오검출이 있더라도 블록 기반의 움직임에서 이를 보완함으로써 최종 움직임 오검출률을 낮출 수 있다. 따라서 시간적 잡음 제거 효과가 개선될 수 있다.

다시 도 1을 참조하면, 시간적 잡음 필터(30)는 하기 식(3)과 같이 제1 움직임 가중치(W)를 이용하여 입력 프레임(IN)과 기준 프레임(PIG)을 가중합함으로써 제1 출력 프레임(OUT_TNF)을 생성할 수 있다.

...(3)

즉, 입력 프레임(IN)의 움직임 정도가 작을수록 제1 움직임 가중치(W)는 0에 가까운 값을 가지므로, 시간적 잡음 필터(30)의 시간적 잡음 제거 강도가 강해져서 잡음 제거의 효과가 증가한다.

공간적 잡음 제거부(50)는 시간적 잡음이 제거된 제1 출력 프레임(OUT_TNF)에서 주변 화소들 간의 유사도 및 움직임 정도를 기초로 제1 출력 프레임(OUT_TNF)의 공간적 잡음 제거 강도를 조절하여 공간적 잡음 제거된 최종 출력 프레임(OUT_SNF)을 출력한다.

공간적 잡음 제거부(50)는 패턴 매칭부(60), 공간적 잡음 필터(70) 및 기준 프레임 생성부(80)를 포함할 수 있다.

패턴 매칭부(60)는 제1 출력 프레임(OUT_TNF)의 소정 사이즈의 윈도우 내에서 현재 픽셀을 중심으로 하는 패치와 주변 픽셀을 중심으로 하는 패치 간의 유사도를 측정한다.

도 7은 본 발명의 실시예에 따른 공간적 잡음 필터의 구성을 개략적으로 도시한 블록도이다.

도 7을 참조하면, 공간적 잡음 필터(70)는 제1 잡음 제거부(701)와 제2 잡음 제거부(703)를 포함할 수 있다.

제1 잡음 제거부(701)는 패치 간의 유사도에 따라 주변 픽셀에 가중치를 적용하여 가중평균함으로써 제2 출력 프레임(SPA)을 생성한다. 제1 잡음 제거부(701)는 NLM(non local means) 기반의 잡음 제거 기법을 적용하여, 유사도가 높은 패치의 중심 픽셀은 가중치를 높이고, 유사도가 낮은 패치의 중심 픽셀은 가중치를 낮추어 가중평균함으로써 잡음을 제거한다. NLM(non local means) 기반의 잡음 제거 기법은 공지된 기술이므로 본 명세서에서 상세한 설명은 생략하겠다.

제2 잡음 제거부(703)는 움직임 정도에 따른 제2 움직임 가중치(W_SNF)를 설정하고, 하기 식(4)와 같이 제2 움직임 가중치(W_SNF)를 이용하여 제1 출력 프레임(OUT_TNF)과 제2 출력 프레임(SPA)을 가중합함으로써 최종 출력 프레임(OUT_SNF)을 생성할 수 있다. 제2 움직임 가중치(W_SNF)는 움직임 검출부(20)에서 검출된 움직임 정도에 비례하는 값으로서, 제1 움직임 가중치(W)와 유사한 특성을 갖는다. 즉, 제2 움직임 가중치(W_SNF)는 움직임 정도가 클수록 1에 가까운 값을 가지며, 움직임 정도가 작을수록 0에 가까운 값을 갖는다.

...(4)

즉, 움직임 정도가 클수록 제2 움직임 가중치(W_SNF)는 1에 가까운 값을 갖게 되어 제2 출력 프레임(SPA)의 공간적 잡음 제거 강도를 높이고, 움직임 정도가 작을수록 제2 움직임 가중치(W_SNF)는 0에 가까운 값을 갖게 되어 제1 출력 프레임(OUT_TNF)의 가중치를 높이게 된다.

다시 도 1을 참조하면, 기준 프레임 생성부(80)는 움직임 정도에 따른 제3 움직임 가중치(W_PIG)를 설정하고, 하기 식(5)와 같이 제3 움직임 가중치(W_PIG)를 이용하여 제1 출력 프레임(OUT_TNF)과 제2 출력 프레임(SPA)을 가중합함으로써 기준 프레임(PIG)을 생성할 수 있다.

...(5)

제3 움직임 가중치(W_PIG)는 움직임 검출부(20)에서 검출된 움직임 정도에 비례하는 값으로서, 제1 움직임 가중치(W)와 유사한 특성을 갖는다. 기준 프레임(PIG)은 다음 프레임의 시간적 잡음 제거를 위해 사용되기 때문에, 제3 움직임 가중치(W_PIG)는 제2 움직임 가중치(W_SNF)보다 작은 값을 갖는다. 즉, 기준 프레임(PIG)을 생성하기 위한 제1 출력 프레임(OUT_TNF)의 가중치가 최종 출력 프레임(OUT_SNF)을 생성하기 위한 제1 출력 프레임(OUT_TNF)의 가중치보다 크다. 그리고, 기준 프레임(PIG)을 생성하기 위한 제2 출력 프레임(SPA)의 가중치가 최종 출력 프레임(OUT_SNF)을 생성하기 위한 제2 출력 프레임(SPA)의 가중치보다 작다. 이는 시간적 잡음 제거의 특성이 IIR(Infinite Impulse Response) 구조이므로 원 영상의 과도한 공간적 잡음 제거가 시간적 잡음 제거에 미치는 영향을 최소화하기 위함이다.

메모리(90)는 시간적 잡음 및 공간적 잡음을 제거하여 생성한 기준 프레임(PIG)을 저장한다. 저장된 기준 프레임(PIG)은 다음에 시간적 잡음 제거부(10)로 입력되는 프레임의 기준 프레임(PIG)으로 참조된다. 메모리(90)는 임시 저장 수단으로서, 프레임 메모리 또는 프레임 버퍼일 수 있다. 메모리(90)는 기준 프레임 생성부(80)에 함께 구비될 수 있다.

도 8 내지 도 11은 본 발명의 실시예에 따른 영상 잡음 제거 방법을 개략적으로 설명하는 흐름도이다. 이하에서는 도 1 내지 도 7을 참조하여 설명한 내용과 중복하는 내용의 상세한 설명은 생략하겠다.

도 8을 참조하면, 영상 잡음 제거 장치는 프레임 단위로 영상을 수신한다(S10).

영상 잡음 제거 장치는 입력 프레임의 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 입력 프레임의 시간적 잡음을 제거할 수 있다(S20). 구체적으로, 영상 잡음 제거 장치는 입력 프레임과 기준 프레임으로부터 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 검출하고, 픽셀 기반 움직임 정도 및 블록 기반 움직임 정도를 기초로 입력 프레임의 시간적 잡음 제거 강도를 조절하여 시간적 잡음 제거된 제1 출력 프레임을 생성할 수 있다. 기준 프레임은 시간적 잡음 및 공간적 잡음 제거된 이전 프레임이다.

잡음 제거 전의 이전 프레임이나 시간적 잡음만 제거된 이전 프레임을 기준 프레임으로 사용하는 경우, 움직임이 있는 영역과 움직임이 없는 영역의 잡음 제거 강도가 다르기 때문에, 후단에서 공간적 잡음을 제거한다 하더라도 그 결과가 부자연스러워진다. 따라서 후술하는 시간적 잡음 제거를 위한 제1 움직임 가중치를 0에 아주 가깝게 할 수 없는 문제점이 있다.

본 발명의 실시예에서는 시간적 잡음 및 공간적 잡음이 모두 제거된 프레임을 기준 프레임으로 사용한다. 이 경우 움직임이 있는 영역의 경우 이미 공간적 잡음 제거된 데이터를 사용하게 되기 때문에 잡음 제거의 수렴 속도가 빠르게 되어 결과적으로 움직임이 있는 영역과 움직임이 없는 영역에서 비슷한 잡음 제거 효과를 얻을 수 있게 된다. 이때 기준 프레임의 공간적 잡음 제거의 강도는 입력 프레임의 공간적 잡음 제거의 강도보다 적게 하여 공간적 잡음 제거에 의한 영상의 열화(블러링(blurring/뭉개짐) 등을 최소화한다.

또한 본 발명의 실시예와 같이 시간적 잡음 및 공간적 잡음이 모두 제거된 프레임을 기준 프레임으로 사용함으로써 시간적 잡음 제거의 수렴속도도 빨라져 시간적 잡음 제거를 위한 제1 움직임 가중치를 1에 더 가까운 값으로 설정할 수 있고, 잡음 제거 효과도 우수하여 모션 블러를 줄일 수 있다.

그리고 본 발명의 실시예는 픽셀 레벨 및 블록 레벨의 움직임을 추정하여 시간적 잡음 제거 성능을 극대화할 수 있다.

도 9를 참조하면, 영상 잡음 제거 장치는 입력 프레임의 움직임 정도를 검출하고, 움직임 정도에 따른 제1 움직임 가중치를 결정할 수 있다.

이를 위해 영상 잡음 제거 장치는 입력 프레임을 저역통과 필터링한 제1필터링 값과 기준 프레임을 저역통과 필터링한 제2필터링 값 중 최대값에 대한 제1필터링 값의 비율을 기초로 픽셀 기반 움직임 정도를 나타내는 제1 검출 값을 산출할 수 있다(S21).

영상 잡음 제거 장치는 입력 프레임을 복수의 블록들로 분할할 수 있다(S22). 영상 잡음 제거 장치는 각 블록을 구성하는 픽셀들의 제1 검출 값들을 평균한 제2 검출 값을 산출할 수 있다(S23).

영상 잡음 제거 장치는 현재 픽셀을 포함하는 블록과 주변 블록들의 제2 검출 값들을 보간하여 현재 픽셀의 블록 기반 움직임 정도를 나타내는 제3 검출 값을 산출할 수 있다(S24). 주변 블록의 범위는 설정 변경 가능하다.

영상 잡음 제거 장치는 입력 프레임의 제1 검출 값과 이전 입력 프레임의 제3 검출 값을 기초로 제1 움직임 가중치를 산출할 수 있다(S25). 도 10을 참조하면, 영상 잡음 제거 장치는 제1 룩업 테이블을 이용하여 제1 검출 값에 대응하는 제1 가중치를 결정하고(S241), 제3 검출 값에 대응하는 제2 가중치를 결정하고(S243), 제1 가중치와 제2 가중치의 곱에 의해 제1 움직임 가중치를 산출할 수 있다(S245).

영상 잡음 제거 장치는 제1 움직임 가중치를 이용하여 입력 프레임과 기준 프레임을 가중합함으로써 제1 출력 프레임을 생성할 수 있다(S26).

영상 잡음 제거 장치는 주변 화소들 간의 유사도 및 움직임 정도를 기초로 입력 프레임의 공간적 잡음을 제거할 수 있다(S30). 구체적으로, 영상 잡음 제거 장치는 제1 출력 프레임의 주변 화소들 간의 유사도 및 입력 프레임으로부터 검출된 움직임 정도를 기초로 제1 출력 프레임의 공간적 잡음 제거 강도를 조절하여 공간적 잡음 제거된 최종 출력 프레임을 생성할 수 있다.

도 11을 참조하면, 영상 잡음 제거 장치는 제1 출력 프레임의 소정 윈도우 내에서 현재 픽셀을 중심으로 하는 패치와 주변 픽셀을 중심으로 하는 패치 간의 유사도를 측정할 수 있다(S31).

영상 잡음 제거 장치는 패치 간의 유사도에 따라 주변 픽셀에 가중치를 적용하여 가중평균함으로써 제2 출력 프레임을 생성할 수 있다(S33). 영상 잡음 제거 장치는 NLM(non local means) 기반의 잡음 제거 기법을 적용하여 제2 출력 프레임을 생성할 수 있다.

영상 잡음 제거 장치는 움직임 정도에 따른 제2 움직임 가중치를 이용하여 제1 출력 프레임과 제2 출력 프레임을 가중합함으로써 최종 출력 프레임을 생성할 수 있다(S35). 제2 움직임 가중치는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 갖고 움직임 정도가 작을수록 0에 가까운 값을 갖는다.

영상 잡음 제거 장치는 움직임 정도에 따른 제3 움직임 가중치를 이용하여 제1 출력 프레임과 제2 출력 프레임을 가중합함으로써 기준 프레임을 생성할 수 있다(S37). 제3 움직임 가중치는 제2 움직임 가중치보다 작은 값을 갖는다. 제3 움직임 가중치는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 갖고 움직임 정도가 작을수록 0에 가까운 값을 갖는다. 기준 프레임은 다음 입력 프레임의 시간적 잡음 제거를 위해 사용된다.

영상 센서에서 획득한 동영상에는 센서/회로 등으로부터 발생하는 각종 잡음이 존재한다. 본 발명의 실시예에 따른 잡음 제거 방법은 연속하는 영상 프레임간의 상관관계를 이용하여 잡음을 제거한다. 따라서 본 발명의 실시예는 동영상을 획득하는 비디오 카메라, CCTV 등 비디오 카메라 시스템에 활용할 수 있다.

본 발명에 따른 영상 잡음 제거 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (10)

1. 입력 프레임으로부터 검출된 픽셀 기반 움직임 정도에 대응하는 제1가중치 및 블록 기반 움직임 정도에 대응하는 제2가중치를 기초로 결정된 제1 움직임 가중치를 적용하여 상기 입력 프레임의 시간적 잡음이 제거된 제1 출력 프레임을 생성하는 시간적 잡음 제거부; 및
   상기 제1 출력 프레임의 주변 픽셀들 간의 유사도 및 상기 제1 움직임 가중치를 기초로 산출된 제2 움직임 가중치를 적용하여 상기 제1 출력 프레임의 공간적 잡음이 제거된 최종 출력 프레임을 생성하는 공간적 잡음 제거부;를 포함하고,
   현재 픽셀의 상기 픽셀 기반 움직임 정도는 상기 입력 프레임의 픽셀 값과 기준 프레임의 대응 픽셀 값 중 최대값에 대한 상기 입력 프레임의 픽셀 값의 비율을 기초로 산출되고,
   상기 현재 픽셀의 상기 블록 기반 움직임 정도는 복수의 블록들로 분할된 이전 입력 프레임에서 산출된 현재 픽셀을 포함하는 블록과 주변 블록들을 구성하는 픽셀들의 픽셀기반 움직임 정도를 기초로 산출되는, 영상 잡음 제거 장치.
2. 삭제
3. 제1항에 있어서,
   상기 제1 움직임 가중치는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 갖는 영상 잡음 제거 장치.
4. 제1항에 있어서,
   상기 시간적 잡음 제거부는,
   상기 제1 움직임 가중치를 결정하는 움직임 검출부; 및
   상기 제1 움직임 가중치를 이용하여 상기 입력 프레임과 상기 기준 프레임을 가중합함으로써 상기 제1 출력 프레임을 생성하는 시간적 잡음 필터;를 포함하고,
   상기 움직임 검출부는,
   상기 입력 프레임의 상기 현재 픽셀의 픽셀 기반 움직임 정도를 나타내는 제1 검출 값을 산출하는 제1 움직임 검출부;
   상기 입력 프레임을 복수의 블록들로 분할하는 블록 분할부;
   각 블록을 구성하는 픽셀들의 상기 제1 검출 값들을 평균한 제2 검출 값을 산출하고, 상기 현재 픽셀을 포함하는 블록과 주변 블록들의 상기 제2 검출 값들을 보간하여 상기 현재 픽셀의 블록 기반 움직임 정도를 나타내는 제3 검출 값을 산출하는 제2 움직임 검출부; 및
   상기 입력 프레임의 제1 검출 값과 상기 이전 입력 프레임의 제3 검출 값을 기초로 상기 제1 움직임 가중치를 산출하는 가중치 결정부;를 포함하는 영상 잡음 제거 장치.
5. 제4항에 있어서, 상기 가중치 결정부는,
   상기 제1 검출 값에 대응하는 상기 제1 가중치를 결정하는 제1 가중치 결정부; 및
   상기 제3 검출 값에 대응하는 상기 제2 가중치를 결정하는 제2 가중치 결정부;를 포함하고,
   상기 제1 가중치와 상기 제2 가중치의 곱에 의해 상기 제1 움직임 가중치를 산출하는, 영상 잡음 제거 장치.
6. 제1항에 있어서, 상기 공간적 잡음 제거부는,
   상기 제1 출력 프레임의 소정 윈도우 내에서 현재 픽셀을 중심으로 하는 패치와 주변 픽셀을 중심으로 하는 패치 간의 유사도를 측정하는 패턴 매칭부; 및
   상기 패치 간의 유사도에 따라 상기 주변 픽셀에 가중치를 적용하여 가중평균함으로써 제2 출력 프레임을 생성하고, 상기 제2 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 최종 출력 프레임을 생성하는 공간적 잡음 필터;를 포함하는 영상 잡음 제거 장치.
7. 제6항에 있어서,
   상기 제2 움직임 가중치보다 작은 값을 갖는 제3 움직임 가중치를 이용하여 상기 제1 출력 프레임과 상기 제2 출력 프레임을 가중합함으로써 상기 기준 프레임을 생성하는 기준 프레임 생성부;를 더 포함하는 영상 잡음 제거 장치.
8. 삭제
9. 제7항에 있어서,
   상기 제2 움직임 가중치 및 상기 제3 움직임 가중치는 0과 1 사이의 값을 가지며, 움직임 정도가 클수록 1에 가까운 값을 갖는, 영상 잡음 제거 장치.
10. 제1항에 있어서,
    상기 기준 프레임은 이전 입력 프레임에서 시간적 잡음 및 공간적 잡음이 제거된 프레임인, 영상 잡음 제거 장치.

Images