KR101133520B1 - 색 노이즈 제거 방법 및 장치 - Google Patents

색 노이즈 제거 방법 및 장치 Download PDF

Info

Publication number
KR101133520B1
KR101133520B1 KR1020110000157A KR20110000157A KR101133520B1 KR 101133520 B1 KR101133520 B1 KR 101133520B1 KR 1020110000157 A KR1020110000157 A KR 1020110000157A KR 20110000157 A KR20110000157 A KR 20110000157A KR 101133520 B1 KR101133520 B1 KR 101133520B1
Authority
KR
South Korea
Prior art keywords
value
noise
color
color difference
image
Prior art date
Application number
KR1020110000157A
Other languages
English (en)
Inventor
이호영
한광수
김범용
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020110000157A priority Critical patent/KR101133520B1/ko
Application granted granted Critical
Publication of KR101133520B1 publication Critical patent/KR101133520B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

노이즈 레벨을 이용한 3차원적인 색 노이즈 제거 방법 및 장치가 개시된다. 입력 영상의 색 노이즈를 제거하는 장치로서, 이전 프레임에 대한 블록 단위 평균값을 이용하여 각 화소의 색차 신호값을 예측하여 글로벌 노이즈 제거 영상을 획득하는 글로벌 노이즈 제거부, 상기 현재 프레임 중 소정 크기의 입력 마스크 중 중심 화소에 상응하는 자기 성분만을 분리한 자기 성분 마스크를 사용하여 로컬 노이즈 제거 영상을 획득하는 로컬 노이즈 제거부 및 상기 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 가중치에 상응하는 비율로 혼합하여 색 노이즈 제거를 수행하는 결과 조합부를 포함하는 색 노이즈 제거 장치에 의하면, 보정된 영상의 전체적인 색 정보를 참고하여 마스크 단위의 색 노이즈 제거 영상과의 조합 과정을 통해 작은 영역은 물론 넓은 영역의 색 노이즈도 효과적으로 제거하는 것이 가능하다.

Description

색 노이즈 제거 방법 및 장치{Color noise reduction method and device}
본 발명은 노이즈 레벨을 이용한 3차원적인 색 노이즈 제거 방법 및 장치에 관한 것이다.
이미지 센서는 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자이다. 이 중에서 전하결합소자(Charge Coupled Device, CCD)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. 씨모스(Complementary MOS; 이하 CMOS라 함) 이미지 센서는 제어회로 및 신호처리회로를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼의 MOS 트랜지스터를 만들고 이것을 이용하여 순차적으로 화소의 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
이러한 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 화소(pixel)들 또는 포토사이트(photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 화소들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 화소들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이(Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
이미지 센서로부터 제공된 이미지 데이터는 이미지 신호 처리 장치를 통해 색 보간, 휘도 처리, 색채 처리, 색 포맷 변환 등의 다양한 신호 처리를 거쳐 휘도 신호 및 색 신호로 출력된다.
이와 같이 생성되는 색 신호는 디지털 신호 처리에 따른 노이즈를 포함하고 있는 바, 색 신호에 포함된 노이즈를 제거하는 방법이 필요한 실정이다.
도 1은 종래 색 노이즈 제거 방법에 사용되는 입력 마스크를 나타낸 도면이다.
도 1을 참조하면, 3x7 마스크 입력 중 중심 화소인 C24를 중심으로, 3x3, 3x5, 3x7 구조를 만들고 각각의 중간값 Cm1, Cm2, Cm3를 사용하여 색 노이즈를 제거하였다.
하지만 색 노이즈는 특정 영역에서 밴드(band) 형태로 존재하고 있어 마스크의 크기가 커야 하는데, 종래 방법에 의할 때 사용된 3x7 마스크의 크기보다 큰 색 노이즈가 발생한 경우 그 제거가 어려운 문제점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 이전 프레임 영상의 전체적인 색 정보를 이용하여 실시간으로 입력 마스크 단위의 색 노이즈를 제거하고, 움직임 보상(motion compensation)을 통해 이전 프레임 영상과 현재 프레임 영상의 차이를 보정할 수 있는 색 노이즈 제거 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 보정된 영상의 전체적인 색 정보를 참고하여 마스크 단위의 색 노이즈 제거 영상과의 조합 과정을 통해 작은 영역은 물론 넓은 영역의 색 노이즈도 효과적으로 제거하는 것이 가능한 색 노이즈 제거 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 노이즈 레벨을 계산하여 노이즈 레벨에 상응하는 가중치를 주고 사용자가 조정 가능한 변수를 통해 색 노이즈 제거 강도를 조절할 수 있는 색 노이즈 제거 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 이전 프레임 영상의 밝기 정보를 이용함으로써 암부의 색 노이즈를 다른 밝기 영역보다 강하게 제거할 수 있는 색 노이즈 제거 방법 및 장치를 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 입력 영상의 색 노이즈를 제거하는 장치로서, 이전 프레임에 대한 블록 단위 평균값을 이용하여 각 화소의 색차 신호값을 예측하여 글로벌 노이즈 제거 영상을 획득하는 글로벌 노이즈 제거부; 상기 현재 프레임 중 소정 크기의 입력 마스크 중 중심 화소에 상응하는 자기 성분만을 분리한 자기 성분 마스크를 사용하여 로컬 노이즈 제거 영상을 획득하는 로컬 노이즈 제거부; 및 상기 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 가중치에 상응하는 비율로 혼합하여 색 노이즈 제거를 수행하는 결과 조합부를 포함하는 색 노이즈 제거 장치가 제공된다.
상기 이전 프레임과 현재 프레임 사이의 움직임 벡터를 예측하고, 상기 글로벌 노이즈 제거 영상에 상기 움직임 벡터를 적용하여 움직임 보상된 글로벌 노이즈 제거 영상을 획득하는 움직임 보상부를 더 포함하되, 상기 결과 조합부는 상기 움직임 보상된 글로벌 노이즈 제거 영상을 상기 로컬 노이즈 제거 영상과 혼합할 수 있다.
상기 글로벌 노이즈 제거부는 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점에 대한 상기 블록 단위 평균값을 메모리로부터 독출하고 바이리니어 보간법을 이용하여 상기 위치에서의 상기 색차 신호값을 예측할 수 있다. 상기 글로벌 노이즈 제거부는 상기 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 상기 결과 조합부에서의 혼합 비율의 결정 기준이 되는 색상 차이값을 계산할 수 있다.
상기 움직임 보상부는 상기 현재 프레임의 소정 위치에서의 블록 단위 평균값과 상기 이전 프레임의 동일 위치에서의 블록 단위 평균값의 차이로부터 프레임 움직임 벡터 예측값을 계산하고, 상기 색차 신호값 및 상기 색상 차이값에 상기 프레임 움직임 벡터 예측값을 적용하여 움직임 보상을 수행할 수 있다.
상기 로컬 노이즈 제거부는, 상기 자기 성분 마스크에 속하는 화소의 색차 신호에 대하여 윤곽선 보존 노이즈 제거를 수행하는 윤곽선 보존 노이즈 제거부와; 상기 자기 성분 마스크 중 중심 화소를 포함하는 일부 화소로 이루어진 중심 마스크의 색차 신호를 이용하여 백점/흑점 보정을 수행하는 백점/흑점 보정부와; 상기 윤곽선 보존 노이즈 제거부에서 수행된 결과인 윤곽선 보존 노이즈 제거값과 상기 백점/흑점 보정부에서 수행된 결과인 백점/흑점 보정값을 혼합하여 로컬 노이즈 제거값을 계산하는 로컬 노이즈 제거값 계산부를 포함할 수 있다.
상기 윤곽선 보존 노이즈 제거부는 양방향 필터링을 통해 상기 중심 화소와 비슷한 값을 가지는 주변 화소에 대하여 가중치를 두면서 상기 윤곽선 보존 노이즈 제거값을 획득할 수 있다. 상기 백점/흑점 보정부는 상기 중심 마스크의 주변 화소와 중심 화소의 화소값 차이를 오름차순 정렬한 후 소정 개수의 작은 값들을 평균하여 상기 백점/흑점 보정값을 산출할 수 있다.
상기 로컬 노이즈 제거부는 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 상기 결과 조합부에서 혼합 비율의 결정 기준이 되는 노이즈 레벨 예측값을 계산하는 노이즈 레벨 예측부를 더 포함할 수 있다.
상기 가중치는 상기 현재 프레임의 휘도 신호의 크기에 따라 가변되는 색 노이즈 제거 강도와, 상기 움직임 보상부에 의해 계산된 제1 기준값과, 상기 로컬 노이즈 제거부에 의해 계산된 제2 기준값을 이용하여 계산될 수 있다.
상기 제1 기준값은 상기 글로벌 노이즈 제거부에서 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 계산되고, 상기 움직임 보상부에 의해 움직임 보상된 색상 차이값이고, 상기 제2 기준값은 상기 로컬 노이즈 제거부에서 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 계산한 노이즈 레벨 예측값일 수 있다.
상기 현재 프레임의 색차 신호를 입력받아 소정 크기의 블록별로 상기 블록에 속하는 화소들의 색차 신호값의 평균을 상기 현재 프레임의 블록 단위 평균값으로 메모리에 저장하는 블록 평균 계산부를 더 포함하되, 상기 현재 프레임의 블록 단위 평균값은 다음 프레임에 대한 색 노이즈 제거 시 사용될 수 있다.
한편 본 발명의 다른 측면에 따르면, 색 노이즈 제거 장치에서 입력 영상의 색 노이즈를 제거하는 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체를 제공한다.
일 실시예에 따른 색 노이즈 제거 방법은, (a) 이전 프레임에 대한 블록 단위 평균값을 이용하여 각 화소의 색차 신호값을 예측하여 글로벌 노이즈 제거 영상을 획득하는 단계; (b) 상기 현재 프레임 중 소정 크기의 입력 마스크 중 중심 화소에 상응하는 자기 성분만을 분리한 자기 성분 마스크를 사용하여 로컬 노이즈 제거 영상을 획득하는 단계; 및 (c) 상기 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 가중치에 상응하는 비율로 혼합하여 색 노이즈 제거를 수행하는 단계를 포함할 수 있다.
(a1) 상기 이전 프레임과 현재 프레임 사이의 움직임 벡터를 예측하고, 상기 글로벌 노이즈 제거 영상에 상기 움직임 벡터를 적용하여 움직임 보상된 글로벌 노이즈 제거 영상을 획득하는 단계를 더 포함하되, 상기 단계 (c)는 상기 움직임 보상된 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 혼합할 수 있다.
상기 단계 (a)는 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점에 대한 상기 블록 단위 평균값을 메모리로부터 독출하고 바이리니어 보간법을 이용하여 상기 위치에서의 상기 색차 신호값을 예측할 수 있다. 상기 단계 (a)는 상기 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 상기 단계 (c)에서의 혼합 비율의 결정 기준이 되는 색상 차이값을 계산할 수 있다.
상기 단계 (a1)는 상기 현재 프레임의 소정 위치에서의 블록 단위 평균값과 상기 이전 프레임의 동일 위치에서의 블록 단위 평균값의 차이로부터 프레임 움직임 벡터 예측값을 계산하고, 상기 색차 신호값 및 상기 색상 차이값에 상기 프레임 움직임 벡터 예측값을 적용하여 움직임 보상을 수행할 수 있다.
상기 단계 (b)는, (b1) 상기 자기 성분 마스크에 속하는 화소의 색차 신호에 대하여 윤곽선 보존 노이즈 제거를 수행하는 단계와; (b2) 상기 자기 성분 마스크 중 중심 화소를 포함하는 일부 화소로 이루어진 중심 마스크의 색차 신호를 이용하여 백점/흑점 보정을 수행하는 단계와; (b3) 상기 단계 (b1)에서 수행된 결과인 윤곽선 보존 노이즈 제거값과 상기 단게 (b2)에서 수행된 결과인 백점/흑점 보정값을 혼합하여 로컬 노이즈 제거값을 계산하는 단계를 포함할 수 있다.
상기 단계 (b1)은 양방향 필터링을 통해 상기 중심 화소와 비슷한 값을 가지는 주변 화소에 대하여 가중치를 두면서 상기 윤곽선 보존 노이즈 제거값을 획득할 수 있다. 상기 단계 (b2)는 상기 중심 마스크의 주변 화소와 중심 화소의 화소값 차이를 오름차순 정렬한 후 소정 개수의 작은 값들을 평균하여 상기 백점/흑점 보정값을 산출할 수 있다.
상기 단계 (b)는 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 상기 단계 (c)에서의 혼합 비율의 결정 기준이 되는 노이즈 레벨 예측값을 계산할 수 있다.
상기 가중치는 상기 현재 프레임의 휘도 신호의 크기에 따라 가변되는 색 노이즈 제거 강도와, 상기 움직임 보상부에 의해 계산된 제1 기준값과, 상기 로컬 노이즈 제거부에 의해 계산된 제2 기준값을 이용하여 계산될 수 있다.
상기 제1 기준값은 상기 단계 (a)에서 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 계산되고, 상기 단계 (a1)에서 움직임 보상된 색상 차이값이고, 상기 제2 기준값은 상기 단계 (b)에서 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 계산한 노이즈 레벨 예측값일 수 있다.
상기 현재 프레임의 색차 신호를 입력받아 소정 크기의 블록별로 상기 블록에 속하는 화소들의 색차 신호값의 평균을 상기 현재 프레임의 블록 단위 평균값으로 메모리에 저장하는 단계를 더 포함하되, 상기 현재 프레임의 블록 단위 평균값은 다음 프레임에 대한 색 노이즈 제거 시 사용될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 이전 프레임 영상의 전체적인 색 정보를 이용하여 실시간으로 입력 마스크 단위의 색 노이즈를 제거하고, 움직임 보상을 통해 이전 프레임 영상과 현재 프레임 영상의 차이를 보정할 수 있다.
또한, 보정된 영상의 전체적인 색 정보를 참고하여 마스크 단위의 색 노이즈 제거 영상과의 조합 과정을 통해 작은 영역은 물론 넓은 영역의 색 노이즈도 효과적으로 제거하는 것이 가능하다.
또한, 노이즈 레벨을 계산하여 노이즈 레벨에 상응하는 가중치를 주고 사용자가 조정 가능한 변수를 통해 색 노이즈 제거 강도를 조절할 수 있다.
또한, 이전 프레임 영상의 밝기 정보를 이용함으로써 암부의 색 노이즈를 다른 밝기 영역보다 강하게 제거할 수 있다.
도 1은 종래 색 노이즈 제거 방법에 사용되는 입력 마스크를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 색 노이즈 제거 장치의 개략적인 구성을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 글로벌 노이즈 제거 방법에 관한 개념도,
도 4는 본 발명의 일 실시예에 따른 움직임 벡터를 구하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예예 따른 로컬 노이즈 제거부의 개략적인 구성을 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 입력 마스크와 자기 성분으로 분리한 자기 성분 마스크를 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 윤곽선 보존 잡음 제거에 사용되는 입력 영상과 움직임 보상된 글로벌 노이즈 제거 영상을 나타낸 도면,
도 8은 본 발명의 일 실시예에 따른 윤곽선 보존 노이즈 제거값과 백점/흑점 보정값을 혼합한 결과 영상에 적용되는 그래프,
도 9는 본 발명의 일 실시예에 따른 색 노이즈 제거 강도 설정에 관한 그래프,
도 10은 본 발명의 일 실시예에 따른 가중치와 색 노이즈 제거값(최종 결과)의 관계를 나타낸 그래프,
도 11은 본 발명의 일 실시예에 따른 색 노이즈 제거 방법의 순서도,
도 12는 원본 영상과 본 발명의 일 실시예에 따른 색 노이즈 제거가 수행된 결과 영상이 도시된 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 하며, 본 명세서에서는 현재 프레임을 n번째 프레임(nth frame)으로, 이전 프레임을 (n-1)번째 프레임((n-1)th frame)으로 가정하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 색 노이즈 제거 장치의 개략적인 구성을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 글로벌 노이즈 제거 방법에 관한 개념도이며, 도 4는 본 발명의 일 실시예에 따른 움직임 벡터를 구하는 방법을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예예 따른 로컬 노이즈 제거부의 개략적인 구성을 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따른 입력 마스크와 자기 성분으로 분리한 자기 성분 마스크를 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 윤곽선 보존 잡음 제거에 사용되는 입력 영상과 움직임 보상된 글로벌 노이즈 제거 영상을 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 윤곽선 보존 노이즈 제거값과 백점/흑점 보정값을 혼합한 결과 영상에 적용되는 그래프이고, 도 9는 본 발명의 일 실시예에 따른 색 노이즈 제거 강도 설정에 관한 그래프이며, 도 10은 본 발명의 일 실시예에 따른 가중치와 색 노이즈 제거값(최종 결과)의 관계를 나타낸 그래프이다.
본 발명의 일 실시예에 따른 색 노이즈 제거 장치(100)는 이전 프레임 영상을 이용하여 글로벌 노이즈를 제거한 후 예측된 움직임 벡터를 이용하여 움직임 보상을 수행하고, 자기 성분을 이용하여 로컬 노이즈를 제거하며, 각 결과 영상을 혼합함으로써 마스크보다 큰 색 노이즈를 제거하는 것이 가능하다.
본 실시예에 따른 색 노이즈 제거 장치(100)에는 입력 영상 신호의 포맷이 YCbCr인 경우를 가정하여 설명한다. 다른 포맷의 입력 영상 신호(예를 들면, RGB 신호, YUV 신호 등)에 대해서는 색 노이즈 제거 장치(100)의 전단에 포맷 변환기(미도시)가 구비되어 있어, YCbCr 신호로 포맷을 변환한 뒤 본 발명에 따른 색 노이즈 제거 과정이 수행될 수 있을 것이다.
도 2를 참조하면, 색 노이즈 제거 장치(100)는 블록 평균 계산부(110), 메모리(120), 글로벌 노이즈 제거부(130), 움직임 보상부(140), 로컬 노이즈 제거부(150), 결과 조합부(160)를 포함한다.
본 실시예에 있어서, 입력 영상 신호는 휘도 신호(Y_in)와 색차 신호(C_in = Cb, Cr)로 구분될 수 있으며, 휘도 신호(Y_in)는 결과 조합부(160)에 입력되고, 색차 신호(C_in)는 블록 평균 계산부(110)와 로컬 노이즈 제거부(150)에 입력된다.
블록 평균 계산부(110)는 입력된 현재 프레임의 영상 신호 중 색차 신호(C_in(nth))에 대하여 NxN 크기의 블록에 대한 블록 단위 평균값(avg_data(nth))을 계산하고, 메모리(120)에 저장한다. N은 자연수이며, 입력 영상의 가로 길이와 세로 길이의 공약수 중 하나(예를 들어, 128)일 수 있으며, 블록 단위 평균값은 해당 블록에 속하는 화소들의 색차 신호의 평균값일 수 있다.
메모리(120)에 저장된 블록 단위 평균값은 해당 블록을 대표하는 색차 신호값으로 간주되며, 다음 프레임((n+1)th frame)에 대한 글로벌 노이즈 제거 시 사용된다.
글로벌 노이즈 제거부(130)는 현재 프레임(nth frame)에 대한 글로벌 노이즈 제거를 위해 메모리(120)에 저장되어 있는 이전 프레임((n-1)th frame)의 블록 평균값 중 현재 색 노이즈 제거의 대상이 되는 화소 위치에 이웃하는 4개의 블록 단위 평균값(a, b, c, d)을 독출하여 해당 위치에서의 색차 신호값을 예측한다.
해당 화소 위치(P1)에서의 색차 신호값 예측은 예를 들어 바이리니어 보간법(bi-linear interpolation)을 통해 이루어질 수 있다.
도 3을 참조하면, 입력 영상(1)은 다수의 NxN 크기의 블록으로 구분되어 있음을 알 수 있으며, 각 블록에 대한 이전 프레임의 블록 단위 평균값이 메모리(120)에 저장되어 있다. 이 경우 각 블록의 블록 단위 평균값은 해당 블록의 중심 화소 위치에서의 색차 신호값인 것으로 간주된다.
색차 신호값을 예측하고자 하는 화소 위치(P1)를 (x,y)로 가정한다. 이 경우 해당 위치가 그 내부에 위치하도록 하는, 각 블록들의 중심을 있는 사각형(10)을 찾는다. 도 3에 예시된 도면에서는 블록 1(B1), 블록 2(B2), 블록 3(B3), 블록 4(B4)의 중심을 잇는 사각형(10)이고, 블록 1~4(B1~B4)의 블록 단위 평균값은 메모리(120)에 저장되어 있던 이전 프레임((n-1)th frame)에 대한 것으로서 각각 a, b, c, d인 것으로 가정한다.
현재 화소 위치(x,y)와 사각형(10)의 네 꼭지점(a, b, c, d)의 거리에 비례하게 보간할 수 있으며, 이를 상세히 설명하면 다음과 같다.
메모리(120)로부터 블록 1~4(B1~B4)의 블록 단위 평균값을 독출하고, 하기 수학식 1에 따라 현재 화소 위치(P1)의 위치 좌표(x,y)로부터 사각형(10)의 변까지의 거리 비(x_length, y_length)를 구한다. 여기서, 거리 비라 함은 사각형(10)의 4개의 변 중 현재 위치(x,y)로부터 가장 가까운 2개의 변까지의 거리를 0 내지 1 사이의 비율로 나타낸 값이다.
[수학식 1]
Figure 112011000131517-pat00001
여기서, %는 나머지를 구하는 연산이고, /는 나누기 연산이다.
그리고 하기 수학식 2에 따라 거리 비로부터 보간에 의해 2개의 가상 평균(av1, av2)을 획득한다.
[수학식 2]
Figure 112011000131517-pat00002
그리고 하기의 수학식 3에 따라 2개의 가상 평균으로부터 현재 위치의 색차 신호값(PD=avg_out((n-1)th))을 예측한다.
[수학식 3]
PD = (1-y_length)*av1 + y_length*av2
글로벌 노이즈 제거부(130)는 입력 영상의 현재 프레임의 모든 화소에 대하여 전술한 과정(수학식 1 내지 3)을 통해 색차 신호값을 예측하는 것이 가능하다.
또한, 글로벌 노이즈 제거부(130)는 하기 수학식 4와 같이 이웃한 네 지점의 값(a, b, c, d)과 예측된 색차 신호값(PD)의 차를 이용하여 색상 차이값(color difference value)을 구한다.
[수학식 4]
CDValue = (|PD-a|+|PD-b|+|PD-c|+|PD-d|)/4
다시 도 2를 참조하면, 움직임 보상부(140)는 이전 프레임((n-1)th frame)과 현재 프레임(nth frame) 사이의 시간 간격으로 인해 발생한 움직임을 추정하고 이를 보상한다.
글로벌 노이즈 제거부(130)가 이전 프레임의 데이터를 이용하고 있는 바, 이전 프레임과 현재 프레임 사이의 시간 간격으로 인한 피사체나 카메라의 움직임에 따른 현상(예를 들면, 모션 블러(motion blur, 손 떨림에 의한 흐림 현상) 등)이 발생할 수 있다. 따라서, 이전 프레임과 현재 프레임 간의 움직임을 예측하고 이를 보상할 필요가 있다.
글로벌 노이즈 제거부(130)에서 이용되는 색차 신호(C_in)에는 휘도 신호(Y_in)보다 객체의 형태 정보가 현저하게 적게 표현되어 있다. 즉, 사람의 눈에 민감한 영상의 저주파 정보가 적다고 할 수 있다. 따라서, 이전 프레임과 현재 프레임 간의 움직임 벡터를 대략적으로 예측하고 이에 따른 보상을 수행하더라도 사람의 눈에 크게 민감하게 작용하지 않는 바, 현재 프레임에서의 오차가 크지 않다는 점을 움직임 보상부(140)에서 이용한다.
도 4를 참조하면, 움직임 보상부(140)는 현재 프레임(nth frame)이 입력되었을 때 미리 지정된 소정 개수(예를 들어, 4개)의 위치 각각에서 현재 프레임의 블록 단위 평균값(avg_outk(nth))과 이전 프레임의 블록 단위 평균값(avg_outk((n-1)th))의 x축, y축 차이값으로 블록 움직임 벡터 예측값(mvek)을 계산한다(수학식 5 참조).
[수학식 5]
mvek = avg_outk(nth) - avg_outk((n--th), (k=1, 2, 3, 4)
프레임 움직임 벡터 예측값(MVE')으로는 수학식 5로 계산된 블록 움직임 벡터 예측값들의 중간값(median)을 사용한다(수학식 6 참조). 여기서, 프레임 움직임 벡터 예측값은 흔들림 정도를 나타내는 값이다.
[수학식 6]
MVE' = median(mvek)
그리고 글로벌 노이즈 제거부(130)에서 구한 글로벌 노이즈 제거 영상, 즉 블록 평균값(avg_out)에 대하여 프레임 움직임 벡터 예측값(MVE')을 적용하여 움직임 보상을 수행하고, 색상 차이값(CDValue)에 대해서도 프레임 움직임 벡터 예측값(MVE')을 적용하여 움직임 보상을 수행한다(수학식 7 참조).
[수학식 7]
Figure 112011000131517-pat00003
여기서, m_CDValue는 후술할 결과 조합부(160)에서 글로벌 노이즈 제거값과 로컬 노이즈 제거값을 혼합하기 위한 혼합 비율을 결정하는데 이용되는 움직임 보상된 색상 차이값이다.
또한, 수학식 7을 통해 움직임 보상이 수행된 글로벌 노이즈 제거 영상(m_avg_out)을 획득할 수 있다.
다시 도 1을 참조하면, 로컬 노이즈 제거부(150)는 입력 마스크 중 자기 성분 마스크를 추출하여 로컬 노이즈 제거를 수행한다.
로컬 노이즈 제거를 위한 입력 마스크 및 자기 성분만을 분리한 자기 성분 마스크의 예시가 도 6에 도시되어 있다. (a)는 9x9 크기의 입력 마스크이며, (b)는 입력 마스크의 중심 화소(c1_55)와 동일한 색 성분 신호인 자기 성분((a)의 입력 마스크 중 빗금친 부분)만을 분리한 5x5 크기의 자기 성분 마스크이다. 여기서, c1, c2 중 하나는 색차 신호인 Cb, Cr 중 하나이며, 다른 하나는 나머지 색차 신호이다. 즉, c1=Cb이면 c2=Cr이고, c1=Cr이면 c2=Cb이다. 그리고 입력 마스크의 크기가 9x9이고, 자기 성분 마스크의 크기가 5x5인 것은 하나의 예시에 불과하며, 로컬 노이즈 제거의 수준에 따라 다양한 크기가 적용될 수 있을 것이다.
로컬 노이즈 제거부(150)는 자기 성분 마스크에 속하는 색차 신호에 대하여 윤곽선 보존 노이즈 제거 및 백점/흑점 보정을 수행하고 그 결과를 혼합함으로써 로컬 노이즈를 제거하고, 후술할 결과 조합부(160)에서의 혼합 비율을 결정하는 기준값인 노이즈 레벨을 예측한다.
도 5를 참조하면, 로컬 노이즈 제거부(150)는 윤곽선 보존 노이즈 제거부(152), 백점/흑점 보정부(154), 로컬 노이즈 제거값 계산부(156), 노이즈 레벨 예측부(158)를 포함한다.
윤곽선 보존 노이즈 제거부(152)는 예를 들어 양방향 필터(bilateral filter)를 이용하여 윤곽선이 보존되는 노이즈 제거를 수행한다. 양방향 필터를 이용한 노이즈 제거 시, 우선 자기 성분 마스크에 해당하는 색차 신호를 도 7의 (a)에 도시된 C111~C155에 대응시키고, 중심 화소(C133)와 비슷한 값을 가지는 주변 화소값에 대하여 가중치를 준다.
[수학식 8]
Figure 112011000131517-pat00004
수학식 8을 참조하면, 양방향 필터를 이용한 노이즈 제거 과정이 설명되어 있다. 여기서, cnr_c1_nrf_str은 c1에 대한 노이즈 제거 강도이다. 만약 중심 화소가 c2인 경우에는 cnr_c2_nrf_str, 즉 c2에 대한 노이즈 제거 강도로 대체될 수 있다. cnr_c1_nrf_str, cnr_c2_nrf_str는 사용자에 의해 조정 가능한 파라미터로서, 통계적, 실험적으로 결정될 수 있다. 그리고 diffij는 자기 성분 마스크의 i번째 행, j번째 열 화소(C1ij)와 중심 화소(C133)의 화소값 차이의 제곱이며, gmij는 자기 성분 마스크의 i번째 행, j번째 열 화소에 대한 가중치이며, gm_inij는 자기 성분 마스크의 i번째 행, j번째 열 화소에 대한 가중치와 화소값의 곱이며, out_1st는 윤곽선 보존 노이즈 제거값이다.
백점/흑점 보정부(154)는 백점 또는 흑점과 같은 튀는 노이즈를 제거해야 할 때 이용되며, 백점/흑점 보정을 수행한다. 백점/흑점 보정 시 도 7에 도시된 자기 성분 마스크 중 중심 화소(C133)를 포함하는 소정 크기의 중심 마스크(20)(여기서는, 3x3 마스크)를 이용하게 된다.
[수학식 9]
Figure 112011000131517-pat00005
S[a]는 중심 마스크(20)의 i번째 행, j번째 열 화소(C1ij)와 중심 화소(C133)의 화소값 차이를 오름차순 정렬한 값이며, out_2nd는 백점/흑점 보정값으로 S[a] 중 중간값이다.
로컬 노이즈 제거값 계산부(156)는 윤곽선 보존 노이즈 제거값(out_1st)과 백점/흑점 보정값(out_2nd)에 가중치(orf_weight)를 적용하여 적정 비율로 혼합함으로써 도 7에 도시된 것과 같이 로컬 노이즈 제거값(cnr_1st_out)을 계산한다.
[수학식 10]
Figure 112011000131517-pat00006
orf_weight는 S[a] 중 작은 4개의 값의 평균과 튀는 노이즈 제거 강도(cnr_orf_str)를 곱한 값이며, round 함수는 소수점 이하를 반올림하는 함수이다. 여기서, 튀는 노이즈 제거 강도(cnr_orf_str)는 사용자에 의해 조정 가능한 파라미터로서, 통계적, 실험적으로 결정될 수 있다. 또한, orf_weight를 계산함에 있어서, S[a] 중 작은 4개 이외에 2, 3개 혹은 5, 6개가 선택되고 그 평균을 이용할 수도 있을 것이다.
도 8을 참조하면, 수학식 10에 따른 로컬 노이즈 제거값(cnr_1st_out)을 구하는 함수가 도시되어 있다.
로컬 노이즈 제거부(150)는 윤곽선 보존 노이즈 제거값과 백점/흑점 보정값을 적정 비율로 혼합함으로써 단순 양방향 필터 만으로는 제거할 수 없었던 튀는 노이즈(백점/흑점)의 제거가 가능하며, 백점/흑점 보정과 윤곽선 보존 노이즈 제거의 경계에서 발생할 수 있는 계단 현상을 방지할 수 있게 된다.
노이즈 레벨 예측부(158)는 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out)을 사용하여 해당 화소 위치에서의 노이즈 레벨 예측값(NEValue)을 계산한다(수학식 11).
[수학식 11]
Figure 112011000131517-pat00007
도 7의 (b)를 참조하면, 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out)에 대하여 자기 성분 마스크를 적용한 후 그 중심 화소에 상응하는 움직임 보상된 글로벌 노이즈 제거값(m_avg33)과, 자기 성분 마스크에 속하는 화소들의 색차 신호값(C11, C12, …, C55)의 차이를 평균함으로써 노이즈 레벨 예측값을 계산할 수 있다.
다시 도 2를 참조하면, 결과 조합부(160)는 움직임 보상된 색상 차이값 및 노이즈 레벨 예측값을 비교한 결과에 따라 앞서 구한 글로벌 노이즈 제거부(130) 및 움직임 보상부(140)를 통해 출력된 결과 영상(움직임 보상된 글로벌 노이즈 제거값)과, 로컬 노이즈 제거부(150)를 통해 출력된 결과 영상(로컬 노이즈 제거값)을 적정 비율로 혼합하여 입력 마스크의 크기(예를 들면, 도 7의 (a)에 도시된 9x9 크기)보다 큰 색 노이즈를 제거한다.
우선 결과 조합부(160)는 휘도 신호(Y_in)의 크기, 즉 휘도(Y_Luma_value)별로 색 노이즈 제거 강도를 조절한다. 색 노이즈 제거 강도(cnr_c1_str 혹은 cnr_c2_str)의 설정 방법이 도 9에 도시되어 있다. 본 실시예에서는 입력 마스크의 중심 화소가 c1인 바 c1을 기준으로 설명하지만, c2에 대해서도 동일한 내용이 적용 가능함은 물론이다.
도 9를 참조하면, 각 휘도 영역별로 색 노이즈 제거 강도를 다르게 설정해 줌으로써 저휘도 또는 고휘도 영역의 색 노이즈를 효율적으로 제거할 수 있다.
cnr_LL_thr은 저휘도 영역과 중휘도 영역을 구분하는 임계치이고, cnr_HL_thr은 중휘도 영역과 고휘도 영역을 구분하는 임계치이며, cnr_c1_luma_width는 각 휘도 영역 사이에서 강도를 적용하여 연결할 때 각 휘도 사이에서 보간되는 너비이며, cnr_c1_LL_mix_str, cnr_c1_ML_mix_str, cnr_c1_HL_mix_str은 각각 저휘도 영역, 중휘도 영역, 고휘도 영역에서의 c1에 대한 혼합 강도이다.
cnr_LL_thr, cnr_HL_thr, cnr_c1_luma_width, cnr_c1_LL_mix_str, cnr_c1_ML_mix_str, cnr_c1_HL_mix_str은 사용자에 의해 조정 가능한 파라미터로서, 통계적, 실험적으로 결정될 수 있다. 또한, cnr_c1_luma_width, cnr_c1_LL_mix_str, cnr_c1_ML_mix_str, cnr_c1_HL_mix_str은 c1에 대한 파라미터로서, 입력 마스크의 중심 화소가 c2인 경우에는 c2에 대한 값으로 조정될 수 있다.
결과 조합부(160)는 대상 화소가 속하는 휘도 영역에 따라 결정된 색 노이즈 제거 강도(cnr_c1_str)와, 앞서 계산된 움직임 보상된 색상 차이값(m_CDValue) 및 노이즈 레벨 예측값(NEValue)을 이용하여 움직임 보상된 글로벌 노이즈 제거값과 로컬 노이즈 제거값의 혼합 비율을 조정하는 가중치(FinalWeight)를 설정한다.
[수학식 12]
Figure 112011000131517-pat00008
가중치의 설정은 상기 수학식 12와 같이 이루어질 수 있다. 즉, 움직임 보상된 색상 차이값(m_CDValue)과 노이즈 레벨 예측값(NEValue)을 비교한 후 큰 값을 중간 가중치(weight)로 정하고, 중간 가중치에 휘도 영역별로 조절된 색 노이즈 제거 강도(cnr_c1_str)를 곱함으로써 가중치(FinalWeight)를 설정할 수 있다.
그리고 결과 조합부(160)는 설정된 가중치에 따라 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out)과 로컬 노이즈 제거 영상(cnr_1st_out)을 혼합하여 최종적으로 색 노이즈 제거값(CNR_out)을 계산하여 출력함으로써, 입력 마스크의 크기보다 큰 색 노이즈를 제거하는 것이 가능하다.
가중치(FinalWeight)와 색 노이즈 제거값(CNR_out)의 관계가 도 10에 도시되어 있으며, 하기 수학식 13과 같이 가중치를 독립변수, 색 노이즈 제거값을 종속변수로 하는 일차함수로 표현될 수 있다.
[수학식 13]
Figure 112011000131517-pat00009
본 실시예에 따른 색 노이즈 제거 장치(100)는 이미지 시그널 프로세서(Image Signal Processor)의 구성요소 중 하나로서, 이미지 센서(Image Sensor)를 통해 입력된 영상 신호에 대해 행해지는 신호 처리 중 하나인 색 노이즈 제거를 수행하는 컴포넌트일 수 있다.
이하 도 11을 참조하여 색 노이즈 제거 장치(100)에서 수행되는 색 노이즈 제거 방법에 대하여 설명하기로 한다.
도 11은 본 발명의 일 실시예에 따른 색 노이즈 제거 방법의 순서도이다. 이하에서 설명되는 각각의 단계는 색 노이즈 제거 장치(100)의 각 내부 구성요소에 의해 수행될 수 있다.
우선 단계 S200에서 색 노이즈 제거 대상이 되는 현재 프레임의 영상 신호가 입력된다. 영상 신호는 휘도 신호(Y_in)와 색차 신호(C_in)로 구분되며, 색차 신호(C_in)는 글로벌 노이즈 제거와 로컬 노이즈 제거에 이용되고, 휘도 신호(Y_in)는 글로벌 노이즈 제거와 로컬 노이즈 제거에 따른 각 결과 영상의 혼합에 이용된다.
단계 S210에서 블록 평균 계산부(110)는 현재 프레임의 색차 신호(C_in)를 입력받아 블록 단위 평균값을 계산하고, 메모리(120)에 저장한다. 메모리(120)에 저장된 현재 프레임의 블록 단위 평균값은 다음 프레임에 대한 글로벌 노이즈 제거 시 사용된다.
다음으로 단계 S220에서 글로벌 노이즈 제거부(130)는 메모리(120)에 저장된 이전 프레임에 대한 블록 단위 평균값을 이용하여 글로벌 노이즈를 제거한다.
예를 들면, 바이리니어 보간법을 이용하여 각 화소에 대한 색차 신호값(avg_out)을 예측한다. 그리고 색차 신호값과 해당 화소에 이웃한 네 지점의 블록 단위 평균값의 차를 이용하여 색상 차이값(CDValue)을 구한다.
다음으로 단계 S230에서 움직임 보상부(140)는 이전 프레임에 대하여 예측된 색차 신호값(avg_out) 및 계산된 색상 차이값(CDValue)에 대하여 이전 프레임과 현재 프레임 사이의 움직임을 예측하여 보상한다.
이를 위해 움직임 보상부(140)는 현재 프레임의 소정 위치에서의 블록 단위 평균값과 이전 프레임의 동일 위치에서의 블록 단위 평균값의 차이로부터 블록 움직임 벡터 예측값을 계산하고(단계 S232), 이들의 중간값을 프레임 움직임 벡터 예측값으로 사용한다(단계 S234). 그리고 단계 S220에서 구한 색차 신호값 및 색상 차이값에 프레임 움직임 벡터 예측값을 적용하여 움직임 보상을 수행함으로써 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out) 및 움직임 보상된 색상 차이값(m_CDValue)을 구한다(단계 S236).
단계 S240에서 로컬 노이즈 제거부(150)는 색차 신호에 대하여 입력 마스크를 적용하고, 이 중 자기 성분 마스크를 추출하여 로컬 노이즈 제거를 수행한다.
단계 S242에서 윤곽선 보존 노이즈 제거부(152)는 자기 성분 마스크에 속하는 화소의 색차 신호에 대하여 윤곽선 보존 노이즈 제거를 수행한다. 윤곽선 보존 노이즈 제거는 예를 들어 양방향 필터링을 통해 이루어질 수 있으며, 앞서 수학식 8을 참조하여 설명한 바 있다.
단계 S244에서 백점/흑점 보정부(154)는 자기 성분 마스크 중 중심 화소를 포함하는 일부 화소의 색차 신호를 이용하여 백점/흑점 보정을 수행한다. 백점 또는 흑점과 같이 튀는 노이즈를 제거해야 할 때 백점/흑점 보정이 수행되며, 앞서 수학식 9를 참조하여 설명한 바 있다.
단계 S246에서 로컬 노이즈 제거값 계산부(156)는 이전 단계 S242에서 수행된 결과 영상(윤곽선 보존 노이즈 제거값(out_1st)과 백점/흑점 보정값(out_2nd))을 적정 비율로 혼합하여 로컬 노이즈 제거값(cnr_1st_out)을 계산한다.
그리고 단계 S248에서 노이즈 레벨 예측부(158)는 움직임 보상된 글로벌 노이즈 제거 영상을 사용하여 해당 화소 위치에서의 노이즈 레벨 예측값(NEValue)을 계산한다. 이에 대해서는 앞서 수학식 11을 참조하여 설명한 바 있다.
단계 S250에서 결과 조합부(160)는 움직임 보상된 색상 차이값(m_CDValue)과 노이즈 레벨 예측값(NEValue)을 비교한 결과에 따라 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out)과 로컬 노이즈 제거 영상(cnr_1st_out)을 적정 비율로 혼합하여 색 노이즈 제거를 완료한다.
여기서, 움직임 보상된 글로벌 노이즈 제거 영상(m_avg_out)과 로컬 노이즈 제거 영상(cnr_1st_out)의 혼합 비율은 휘도 신호(Y_in)의 크기에 따라 조절되는 색 노이즈 제거 강도(cnr_1st_str) 및 움직임 보상된 색상 차이값(m_CDValue)과 노이즈 레벨 예측값(NEValue) 중 큰 값의 곱인 가중치(FinalWeight)에 의해 결정된다.
상술한 색 노이즈 제거 방법은 색 노이즈 제거 장치(100)에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
도 12는 원본 영상과 본 발명의 일 실시예에 따른 색 노이즈 제거가 수행된 결과 영상이 도시된 도면이다.
도 12의 (a)에는 색 노이즈가 존재하는 원본 영상이 예시되어 있으며, (b)에는 본 발명에 따른 색 노이즈 제거가 수행된 결과 영상이 예시되어 있다. 이를 통해 입력 마스크의 크기(예를 들어, 9x9)보다 큰, 화면 전체에 넓게 퍼져 있는 색 노이즈도 효과적으로 제거되었음을 확인할 수 있다.
본 발명에 따르면, 입력 영상(색차 신호 영상)에 대하여 전체 영역에서의 색 정보와 로컬 영역에서의 노이즈 레벨을 측정하여 이를 바탕으로 색 노이즈를 제거한 정보를 결합한다. 전체 영역에서의 색 정보는 이전 프레임의 입력 영상에 대하여 계산하기 때문에 실시간 적용이 가능하며, 현재 프레임과의 오차를 줄이기 위해 움직임 보상을 추가적으로 수행한다.
그리고 전체 영역에서의 색 정보와 로컬 영역에서 색 노이즈를 제거한 정보를 결합함에 있어서 가중치를 둠으로써, 색 노이즈가 입력 마스크의 크기보다 크게 광범위하게 퍼져 있어도 이를 효과적으로 제거하는 것이 가능하다.
또한, 로컬 영역에서 색 노이즈를 제거하는 과정에서 중심 화소와 비슷한 값을 가지는 주변 화소에 대해 가중치를 두어 노이즈 제거를 수행하기 때문에 주변 화소로 인한 영향을 최소화할 수 있어 색 번짐과 같은 문제점을 최소화할 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 색 노이즈 제거 장치
110: 블록 평균 계산부
120: 메모리
130: 글로벌 노이즈 제거부
140: 움직임 보상부
150: 로컬 노이즈 제거부
160: 결과 조합부
152: 윤곽선 보존 노이즈 제거부
154: 백점/흑점 보정부
156: 로컬 노이즈 제거값 계산부
158: 노이즈 레벨 예측부

Claims (25)

  1. 입력 영상의 색 노이즈를 제거하는 장치로서,
    이전 프레임에 대한 블록 단위 평균값을 이용하여 각 화소의 색차 신호값을 예측하여 글로벌 노이즈 제거 영상을 획득하는 글로벌 노이즈 제거부;
    상기 현재 프레임 중 소정 크기의 입력 마스크 중 중심 화소에 상응하는 자기 성분만을 분리한 자기 성분 마스크를 사용하여 로컬 노이즈 제거 영상을 획득하는 로컬 노이즈 제거부; 및
    상기 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 가중치에 상응하는 비율로 혼합하여 색 노이즈 제거를 수행하는 결과 조합부를 포함하는 색 노이즈 제거 장치.
  2. 제1항에 있어서,
    상기 이전 프레임과 현재 프레임 사이의 움직임 벡터를 예측하고, 상기 글로벌 노이즈 제거 영상에 상기 움직임 벡터를 적용하여 움직임 보상된 글로벌 노이즈 제거 영상을 획득하는 움직임 보상부를 더 포함하되,
    상기 결과 조합부는 상기 움직임 보상된 글로벌 노이즈 제거 영상을 상기 로컬 노이즈 제거 영상과 혼합하는 것을 특징으로 하는 색 노이즈 제거 장치.
  3. 제2항에 있어서,
    상기 글로벌 노이즈 제거부는 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점에 대한 상기 블록 단위 평균값을 메모리로부터 독출하고 바이리니어 보간법을 이용하여 상기 위치에서의 상기 색차 신호값을 예측하는 것을 특징으로 하는 색 노이즈 제거 장치.
  4. 제3항에 있어서,
    상기 글로벌 노이즈 제거부는 상기 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 상기 결과 조합부에서의 혼합 비율의 결정 기준이 되는 색상 차이값을 계산하는 것을 특징으로 하는 색 노이즈 제거 장치.
  5. 제4항에 있어서,
    상기 움직임 보상부는 상기 현재 프레임의 소정 위치에서의 블록 단위 평균값과 상기 이전 프레임의 동일 위치에서의 블록 단위 평균값의 차이로부터 프레임 움직임 벡터 예측값을 계산하고, 상기 색차 신호값 및 상기 색상 차이값에 상기 프레임 움직임 벡터 예측값을 적용하여 움직임 보상을 수행하는 것을 특징으로 하는 색 노이즈 제거 장치.
  6. 제1항에 있어서,
    상기 로컬 노이즈 제거부는,
    상기 자기 성분 마스크에 속하는 화소의 색차 신호에 대하여 윤곽선 보존 노이즈 제거를 수행하는 윤곽선 보존 노이즈 제거부와;
    상기 자기 성분 마스크 중 중심 화소를 포함하는 일부 화소로 이루어진 중심 마스크의 색차 신호를 이용하여 백점/흑점 보정을 수행하는 백점/흑점 보정부와;
    상기 윤곽선 보존 노이즈 제거부에서 수행된 결과인 윤곽선 보존 노이즈 제거값과 상기 백점/흑점 보정부에서 수행된 결과인 백점/흑점 보정값을 혼합하여 로컬 노이즈 제거값을 계산하는 로컬 노이즈 제거값 계산부를 포함하는 것을 특징으로 하는 색 노이즈 제거 장치.
  7. 제6항에 있어서,
    상기 윤곽선 보존 노이즈 제거부는 양방향 필터링을 통해 상기 중심 화소와 비슷한 값을 가지는 주변 화소에 대하여 가중치를 두면서 상기 윤곽선 보존 노이즈 제거값을 획득하는 것을 특징으로 하는 색 노이즈 제거 장치.
  8. 제6항에 있어서,
    상기 백점/흑점 보정부는 상기 중심 마스크의 주변 화소와 중심 화소의 화소값 차이를 오름차순 정렬한 후 소정 개수의 작은 값들을 평균하여 상기 백점/흑점 보정값을 산출하는 것을 특징으로 하는 색 노이즈 제거 장치.
  9. 제6항에 있어서,
    상기 로컬 노이즈 제거부는 움직임 보상된 글로벌 노이즈 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 상기 결과 조합부에서 혼합 비율의 결정 기준이 되는 노이즈 레벨 예측값을 계산하는 노이즈 레벨 예측부를 더 포함하는 것을 특징으로 하는 색 노이즈 제거 장치.
  10. 제2항에 있어서,
    상기 가중치는 상기 현재 프레임의 휘도 신호의 크기에 따라 가변되는 색 노이즈 제거 강도와, 상기 움직임 보상부에 의해 계산된 제1 기준값과, 상기 로컬 노이즈 제거부에 의해 계산된 제2 기준값을 이용하여 계산된 것을 특징으로 하는 색 노이즈 제거 장치.
  11. 제10항에 있어서,
    상기 제1 기준값은 상기 글로벌 노이즈 제거부에서 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 계산되고, 상기 움직임 보상부에 의해 움직임 보상된 색상 차이값이고,
    상기 제2 기준값은 상기 로컬 노이즈 제거부에서 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 계산한 노이즈 레벨 예측값인 것을 특징으로 하는 색 노이즈 제거 장치.
  12. 제1항에 있어서,
    상기 현재 프레임의 색차 신호를 입력받아 소정 크기의 블록별로 상기 블록에 속하는 화소들의 색차 신호값의 평균을 상기 현재 프레임의 블록 단위 평균값으로 메모리에 저장하는 블록 평균 계산부를 더 포함하되,
    상기 현재 프레임의 블록 단위 평균값은 다음 프레임에 대한 색 노이즈 제거 시 사용되는 것을 특징으로 하는 색 노이즈 제거 장치.
  13. 색 노이즈 제거 장치에서 입력 영상의 색 노이즈를 제거하는 방법으로서,
    (a) 이전 프레임에 대한 블록 단위 평균값을 이용하여 각 화소의 색차 신호값을 예측하여 글로벌 노이즈 제거 영상을 획득하는 단계;
    (b) 상기 현재 프레임 중 소정 크기의 입력 마스크 중 중심 화소에 상응하는 자기 성분만을 분리한 자기 성분 마스크를 사용하여 로컬 노이즈 제거 영상을 획득하는 단계; 및
    (c) 상기 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 가중치에 상응하는 비율로 혼합하여 색 노이즈 제거를 수행하는 단계를 포함하는 색 노이즈 제거 방법.
  14. 제13항에 있어서,
    (a1) 상기 이전 프레임과 현재 프레임 사이의 움직임 벡터를 예측하고, 상기 글로벌 노이즈 제거 영상에 상기 움직임 벡터를 적용하여 움직임 보상된 글로벌 노이즈 제거 영상을 획득하는 단계를 더 포함하되,
    상기 단계 (c)는 상기 움직임 보상된 글로벌 노이즈 제거 영상과 상기 로컬 노이즈 제거 영상을 혼합하는 것을 특징으로 하는 색 노이즈 제거 방법.
  15. 제14항에 있어서,
    상기 단계 (a)는 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점에 대한 상기 블록 단위 평균값을 메모리로부터 독출하고 바이리니어 보간법을 이용하여 상기 위치에서의 상기 색차 신호값을 예측하는 것을 특징으로 하는 색 노이즈 제거 방법.
  16. 제15항에 있어서,
    상기 단계 (a)는 상기 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 상기 단계 (c)에서의 혼합 비율의 결정 기준이 되는 색상 차이값을 계산하는 것을 특징으로 하는 색 노이즈 제거 방법.
  17. 제16항에 있어서,
    상기 단계 (a1)는 상기 현재 프레임의 소정 위치에서의 블록 단위 평균값과 상기 이전 프레임의 동일 위치에서의 블록 단위 평균값의 차이로부터 프레임 움직임 벡터 예측값을 계산하고, 상기 색차 신호값 및 상기 색상 차이값에 상기 프레임 움직임 벡터 예측값을 적용하여 움직임 보상을 수행하는 것을 특징으로 하는 색 노이즈 제거 방법.
  18. 제13항에 있어서,
    상기 단계 (b)는,
    (b1) 상기 자기 성분 마스크에 속하는 화소의 색차 신호에 대하여 윤곽선 보존 노이즈 제거를 수행하는 단계와;
    (b2) 상기 자기 성분 마스크 중 중심 화소를 포함하는 일부 화소로 이루어진 중심 마스크의 색차 신호를 이용하여 백점/흑점 보정을 수행하는 단계와;
    (b3) 상기 단계 (b1)에서 수행된 결과인 윤곽선 보존 노이즈 제거값과 상기 단계 (b2)에서 수행된 결과인 백점/흑점 보정값을 혼합하여 로컬 노이즈 제거값을 계산하는 단계를 포함하는 것을 특징으로 하는 색 노이즈 제거 방법.
  19. 제18항에 있어서,
    상기 단계 (b1)은 양방향 필터링을 통해 상기 중심 화소와 비슷한 값을 가지는 주변 화소에 대하여 가중치를 두면서 상기 윤곽선 보존 노이즈 제거값을 획득하는 것을 특징으로 하는 색 노이즈 제거 방법.
  20. 제18항에 있어서,
    상기 단계 (b2)는 상기 중심 마스크의 주변 화소와 중심 화소의 화소값 차이를 오름차순 정렬한 후 소정 개수의 작은 값들을 평균하여 상기 백점/흑점 보정값을 산출하는 것을 특징으로 하는 색 노이즈 제거 방법.
  21. 제18항에 있어서,
    상기 단계 (b)는 움직임 보상된 글로벌 노이즈 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 상기 단계 (c)에서의 혼합 비율의 결정 기준이 되는 노이즈 레벨 예측값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 색 노이즈 제거 방법.
  22. 제13항에 있어서,
    상기 가중치는 상기 현재 프레임의 휘도 신호의 크기에 따라 가변되는 색 노이즈 제거 강도와, 움직임 보상부에 의해 계산된 제1 기준값과, 로컬 노이즈 제거부에 의해 계산된 제2 기준값을 이용하여 계산된 것을 특징으로 하는 색 노이즈 제거 방법.
  23. 제22항에 있어서,
    상기 제1 기준값은 상기 단계 (a)에서 상기 화소의 위치에 이웃하는 4개의 블록 중심 지점의 블록 단위 평균값과 예측된 상기 색차 신호값의 차를 이용하여 계산되고, 상기 단계 (a1)에서 움직임 보상된 색상 차이값이고,
    상기 제2 기준값은 상기 단계 (b)에서 상기 움직임 보상된 글로벌 제거 영상 중 상기 자기 성분 마스크의 중심 화소에 상응하는 화소값과 상기 자기 성분 마스크에 속하는 화소들의 색차 신호값의 차이를 평균하여 계산한 노이즈 레벨 예측값인 것을 특징으로 하는 색 노이즈 제거 방법.
  24. 제13항에 있어서,
    상기 현재 프레임의 색차 신호를 입력받아 소정 크기의 블록별로 상기 블록에 속하는 화소들의 색차 신호값의 평균을 상기 현재 프레임의 블록 단위 평균값으로 메모리에 저장하는 단계를 더 포함하되,
    상기 현재 프레임의 블록 단위 평균값은 다음 프레임에 대한 색 노이즈 제거 시 사용되는 것을 특징으로 하는 색 노이즈 제거 방법.
  25. 제13항 내지 제24항 중 어느 한 항에 기재된 색 노이즈 제거 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체.
KR1020110000157A 2011-01-03 2011-01-03 색 노이즈 제거 방법 및 장치 KR101133520B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110000157A KR101133520B1 (ko) 2011-01-03 2011-01-03 색 노이즈 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110000157A KR101133520B1 (ko) 2011-01-03 2011-01-03 색 노이즈 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101133520B1 true KR101133520B1 (ko) 2012-04-04

Family

ID=46143280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000157A KR101133520B1 (ko) 2011-01-03 2011-01-03 색 노이즈 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101133520B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010817A1 (ko) * 2012-07-12 2014-01-16 매크로영상기술(주) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 잡음 제거 방법
KR101715349B1 (ko) * 2015-12-22 2017-03-14 금오공과대학교 산학협력단 바이래터럴 보간법을 이용한 이미지 보정 방법
US9967516B2 (en) 2014-07-31 2018-05-08 Electronics And Telecommunications Research Institute Stereo matching method and device for performing the method
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置
US11528426B2 (en) 2020-04-03 2022-12-13 SK Hynix Inc. Image sensing device and operating method thereof
KR102512091B1 (ko) * 2022-07-29 2023-03-20 주식회사 다누시스 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047557A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
KR20070078463A (ko) * 2006-01-27 2007-08-01 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
KR100860877B1 (ko) 2007-04-30 2008-09-29 엠텍비젼 주식회사 컬러 노이즈 제거 장치 및 방법
KR20100077314A (ko) * 2008-12-29 2010-07-08 엠텍비젼 주식회사 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047557A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
KR20070078463A (ko) * 2006-01-27 2007-08-01 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
KR100860877B1 (ko) 2007-04-30 2008-09-29 엠텍비젼 주식회사 컬러 노이즈 제거 장치 및 방법
KR20100077314A (ko) * 2008-12-29 2010-07-08 엠텍비젼 주식회사 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010817A1 (ko) * 2012-07-12 2014-01-16 매크로영상기술(주) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 잡음 제거 방법
US9967516B2 (en) 2014-07-31 2018-05-08 Electronics And Telecommunications Research Institute Stereo matching method and device for performing the method
KR101715349B1 (ko) * 2015-12-22 2017-03-14 금오공과대학교 산학협력단 바이래터럴 보간법을 이용한 이미지 보정 방법
US11528426B2 (en) 2020-04-03 2022-12-13 SK Hynix Inc. Image sensing device and operating method thereof
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置
KR102512091B1 (ko) * 2022-07-29 2023-03-20 주식회사 다누시스 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置
CN116912132B (zh) * 2023-09-11 2023-12-26 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Similar Documents

Publication Publication Date Title
KR101133520B1 (ko) 색 노이즈 제거 방법 및 장치
KR101460688B1 (ko) 화상처리장치 및 그 제어 방법
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
JP5269718B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
KR100585004B1 (ko) 이미지센서의 디지털 신호 처리 장치
JP3706789B2 (ja) 信号処理装置及び信号処理方法
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
US20160006978A1 (en) Image processing device, image processing method, image processing program, and recording medium
KR101389562B1 (ko) 이미지 처리 장치 및 방법
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
JP5041886B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
CN112532855A (zh) 一种图像处理方法和装置
JPWO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP2010011072A (ja) 撮像システム、画像処理方法および画像処理プログラム
GB2408888A (en) Reducing the effects of noise in colour correction
US20210042881A1 (en) Method and apparatus for image processing
US8427560B2 (en) Image processing device
EP1394742A1 (en) Method for filtering the noise of a digital image sequence
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
WO1994018801A1 (en) Color wide dynamic range camera using a charge coupled device with mosaic filter
US8184183B2 (en) Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions
US8049788B2 (en) Color difference correction and imaging device
JP2007323635A (ja) ビデオ・イメージの再帰的フィルタリング
US7956907B2 (en) Image capture device with low-frequency noise suppression
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 8