KR102009185B1

KR102009185B1 - 컬러 프린지 제거 방법

Info

Publication number: KR102009185B1
Application number: KR1020130002806A
Authority: KR
Inventors: 조원호; 김태찬; 주혜진; 박래홍; 이동규
Original assignee: 삼성전자 주식회사; 서강대학교산학협력단
Priority date: 2013-01-10
Filing date: 2013-01-10
Publication date: 2019-08-09
Also published as: KR20140090778A; US20140193069A1; US9047679B2

Abstract

컬러 프린지 제거 방법이 개시된다. 상기 컬러 프린지 제거 방법은 이미지의 컬러 구성요소들 각각의 그래디언트 크기들 중 최고 그래디언트 크기를 선택하는 단계, 상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 단계, 상기 최고 그래디언트 크기와 상기 팽창된 근-포화 영역의 경계에 따라 상기 이미지에서 천이 영역을 감지하는 단계, 및 상기 천이 영역에서 컬러 프린지를 제거하는 단계를 포함한다.

Description

컬러 프린지 제거 방법{Method for removing color fringe}

본 발명의 개념에 따른 실시 예는 이미지 처리에 관한 것으로, 특히 디지털 이미지의 좁은 컬러 영역(narrow color region)에서 컬러 프린지를 제거하기 위한 방법에 관한 것이다.

최근 디지털 카메라의 사용이 급속하게 증가하여 왔다. 상기 디지털 카메라가 실제 장면(real scene)을 캡쳐(capture)할 때, 렌즈가 모든 컬러들을 하나의 교축점(convergence point)에 포커스(focus)하지 못하여, 디지털 컬러 이미지의 객체들의 경계들(boundaries) 근처에서 왜곡이 발생할 수 있다. 상기 왜곡은 컬러 프린지로 정의될 수 있다. 상기 디지털 컬러 이미지의 해상도가 높아지기나, 상기 디지털 카메라가 상세한 촬영(detailed shooting)을 위해 이용될 때, 상기 컬러 프린지의 문제는 심각해질 수 있다.

일반적으로, 상기 컬러 프린지의 원인들은 광학(optical) 시스템에 의한 색수차(chromatic aberration)와 블루밍 효과(blooming effect) 때문이다. 첫째, 상기 색수차는 렌즈를 통해 동시에 하나의 점에 포커스되지 않는 빛의 RGB 컬러들에 의한 컬러 왜곡이다. 상기 RGB 컬러들의 굴절률은 파장에 따라 서로 다르다. 따라서 렌즈를 통과하는 3가지 컬러 구성요소들은 같은 축과 평면에 포커스될 수 없다.

둘째, 상기 블루밍 효과는 이미지 센서 특징과 관련된다. 일정 시간 동안 상기 이미지 센서를 통해 밝은 컬러가 통과될 때, 축적된 전하들은 포텐셀 웰(potential wall)로 넘친다. 상기 넘친 전하들은 이웃 픽셀들로 이동하고, 이는 근포화 영역(near-saturation)을 포함하는 컬러 아티팩츠(artifacts)를 초래한다.

본 발명이 이루고자 하는 기술적인 과제는 좁은 컬러 영역에서 컬러 프린지를 감지하고 제거할 수 방법을 제공하는 것이다.

본 발명의 실시 예에 따른 컬러 프린지 제거 방법은 이미지의 컬러 구성요소들 각각의 그래디언트 크기들 중 최고 그래디언트 크기를 선택하는 단계, 상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 단계, 상기 최고 그래디언트 크기와 상기 팽창된 근-포화 영역의 경계에 따라 상기 이미지에서 천이 영역을 감지하는 단계, 및 상기 천이 영역에서 컬러 프린지를 제거하는 단계를 포함한다.

상기 컬러 구성요소들 각각의 그래디언트 크기들 각각은 상기 컬러 구성요소들 각각에 대해 수직, 수평, 대각선, 및 반대각선 소벨 마스크들 각각을 이용하여 계산된 그래디언트 크기들 중 가장 큰 값을 나타낸다.

실시 예에 따라 컬러 프린지 제거 방법은 상기 이미지의 임의의 점에서 상기 컬러 구성요소들 중 적어도 어느 하나에 대해 방향 레이블을 선택하는 단계를 더 포함할 수 있다.

상기 방향 레이블은 상기 천이 영역의 감지에 이용된다.

상기 방향 레이블은 v, h, d, 및 ad 중 어느 하나이며, 상기 v는 수직, 상기 h는 수평, 상기 d는 대각선, 및 상기 ad는 반대각선을 나타낸다.

상기 감지된 천이 영역에서 상기 팽창된 근-포화 영역의 경계의 값은 1이다. 상기 감지된 천이 영역에서 상기 최고 그래디언트 크기는 문턱값보다 크다.

상기 컬러 구성요소들 각각에 대해 방향 레이블들 각각이 선택될 때, 상기 감지된 천이 영역에서 상기 컬러 구성요소들 각각에 대한 상기 방향 레이블들 중 적어도 2개는 같다.

상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 단계는 상기 이미지에서 루마 구성요소를 문턱값과 비교하여 근-포화 영역을 계산하는 단계, 상기 근-포화 영역과 구조 성분의 팽창 연산을 이용하여 팽창된 근-포화 영역을 계산하는 단계, 및 상기 근-포화 영역과 상기 팽창된 근-포화 영역의 차이에 의해 상기 팽창된 근-포화 영역의 경계를 계산하는 단계를 포함한다.

상기 천이 영역에서 컬러 프린지를 제거하는 단계는 상기 최고 그래디언트 크기에 따라 상기 천이 영역의 가장 왼쪽 픽셀 좌표와 가장 오른쪽 픽셀 좌표를 계산하는 단계, 및 상기 가장 왼쪽 픽셀 좌표와 상기 가장 오른쪽 픽셀 좌표에서 컬러 차이의 최대값과 최소값을 이용하여 상기 천이 영역에서 컬러 프린지를 제거하는 단계를 포함한다.

실시 예에 따라 상기 천이 영역에서 컬러 프린지를 제거하는 단계는 상기 천이 영역에서 컬러 프린지 각각에 대한 컬러 프린지 발생도들을 계산하는 단계, 상기 컬러 프린지 발생도들 중 가장 큰 값을 컬러도로서 결정하는 단계, 상기 이미지의 크로마 구성 요소들의 값들을 이용하여 포화 값을 계산하는 단계, 상기 컬러도와 상기 포화 값을 이용하여 상기 천이 영역의 각 픽셀의 가중치 값들을 계산하는 단계, 및 상기 각 픽셀의 가중치 값들을 이용하여 상기 크로마 구성요소들을 수정하는 단계를 포함한다.

본 발명의 실시 예에 따른 이미지 처리 프로세서는 이미지의 컬러 구성요소들 각각의 그래디언트 크기들 중 최고 그래디언트 크기를 선택하는 그래디언트 크기 유닛, 상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 근-포화 영역 감지 유닛, 상기 최고 그래디언트 크기와 상기 팽창된 근-포화 영역의 경계에 따라 상기 이미지에서 천이 영역을 감지하는 천이 영역 감지 유닛, 및 상기 천이 영역에서 컬러 프린지를 제거하는 수정 블록을 포함한다.

실시 예에 따라 이미지 처리 프로세서는 상기 이미지의 임의의 점에서 상기 컬러 구성요소들 중 적어도 어느 하나에 대해 방향 레이블을 선택하는 그래디언트 방향 레이블 유닛을 더 포함할 수 있다.

상기 수정 블록은 상기 최고 그래디언트 크기에 따라 상기 천이 영역의 가장 왼쪽 픽셀 좌표와 가장 오른쪽 픽셀 좌표를 계산하고, 상기 가장 왼쪽 픽셀 좌표와 상기 가장 오른쪽 픽셀 좌표에서 컬러 차이의 최대값과 최소값을 이용하여 상기 천이 영역에서 컬러 프린지를 제거한다.

실시 예에 따라 상기 수정 블록은 상기 천이 영역에서 컬러 프린지 각각에 대한 컬러 프린지 발생도들을 계산하고, 상기 컬러 프린지 발생도들 중 가장 큰 값을 컬러도로서 결정하고, 상기 이미지의 크로마 구성 요소들의 값들을 이용하여 포화 값을 계산하고, 상기 컬러도와 상기 포화 값을 이용하여 상기 천이 영역의 각 픽셀의 가중치 값들을 계산하며, 상기 각 픽셀의 가중치 값들을 이용하여 상기 크로마 구성요소들을 수정한다.

본 발명의 실시 예에 따른 컬러 프린지 제거 방법은 4개 방향들의 그래디언트(gradient) 크기들(magnitudes)과 근-포화 영역(near-saturation region)를 이용함으로써 보다 정확하게 컬러 프린지를 감지하고 제거할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1a는 일반적인 프린지된 영역(general fringed region)을 포함하는 이미지의 일부를 나타낸다.
도 1b는 도 1a에 도시된 검은 실선(solid black line)을 따라 강도(intensity) 값을 나타내는 그래프이다.
도 1c는 좁은 컬러 영역(narrow color region)을 포함하는 이미지의 일부를 나타낸다.
도 1d는 도 1c에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이다.
도 2는 본 발명의 실시 예에 따른 이미지 처리 프로세서의 블록도를 나타낸다.
도 3a는 프린지된 이미지(fringed image)를 나타낸다.
도 3b는 도 3a에 도시된 이미지의 근-포화 영역의 경계의 검출 결과를 나타낸다.
도 4a는 프린지된 이미지의 일부를 나타낸다.
도 4b는 도 4a에 도시된 천이(transition) 영역을 확대한 이미지를 나타낸다.
도 5a는 도 4b에 도시된 천이 영역을 나타낸다.
도 5b는 본 발명의 실시 예에 따른 프린지 제거 방법을 이용하여 프린지가 제거된 천이 영역을 나타낸다.
도 5c는 도 5a에 도시된 검은 실선을 따라 컬러 차이 값들을 나타내는 그래프이다.
도 5d는 도 5b에 도시된 검은 실선을 따라 컬러 차이 값들을 나타내는 그래프이다.
도 5e는 도 5a에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이다.
도 5f는 도 5b에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이다
도 6은 C_bC_r 평면에서 퍼플(purple) 컬러 프린지 영역을 나타낸다.
도 7은 본 발명의 실시 예에 따른 컬러 프린지 제거 방법을 설명하기 위한 흐름도를 나타낸다.
도 8은 도 2에 도시된 이미지 처리 프로세서를 포함하는 시스템의 일 실시 예의 블록도를 나타낸다.
도 9는 도 2에 도시된 이미지 처리 프로세서를 포함하는 시스템의 다른 실시 예의 블록도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1a는 일반적인 프린지된 영역(general fringed region)을 포함하는 이미지의 일부를 나타내며, 도 1b는 도 1a에 도시된 검은 실선(solid black line)을 따라 강도(intensity) 값을 나타내는 그래프이다.

도 1a과 도 1b를 참조하면, 일반적인 프린지된 영역은 강도 값이 하나의 일정한 값(one constant value)에서 다른 값으로 변한다. 양쪽 픽셀 위치들에서 강도 값 차이는 크다. 따라서 통상적인 기술은 양쪽 픽셀 위치들에서 강도 값 차이를 이용하여 컬러 프린지를 감지하고 제거할 수 있다.

도 1c는 좁은 컬러 영역(narrow color region)을 포함하는 이미지를 나타내며, 도 1d는 도 1c에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이다.

도 1c와 도 1d를 참조하면, 좁은 컬러 영역은 그래프의 양쪽 픽셀 위치들에서 강도 값 차이가 거의 0일 때로 정의될 수 있다. 따라서 양쪽 픽셀 위치들에서 강도 값 차이를 이용하여 컬러 프린지를 제거하는 통상적인 기술은 상기 좁은 컬러 영역에서는 적용될 수 없다. 그러므로 상기 좁은 컬러 영역에서 컬러 프린지를 제거할 수 있는 방법이 필요하다.

도 2는 본 발명의 실시 예에 따른 이미지 처리 프로세서의 블록도를 나타낸다,

도 2를 참조하면, 이미지 처리 프로세서(10)는 이미지(IMG)를 수신하여 이미지(IMG)에서 천이(transition) 영역을 감지하고, 감지된 천이 영역에서 컬러 프린지를 제거(또는 수정)한다. 상기 천이 영역은 픽셀 강도 값이 픽셀 위치에 따라 급격히 변화하는 영역이며, 컬러 프린지의 후보 영역들이다. 상기 이미지(IMG)는 좁은 컬러 영역을 포함할 수 있다.

이미지 처리 프로세서(10)는 감지 블록(20)과 수정 블록(30)을 포함한다. 각 블록(20과 30)은 소프트웨어로 구현될 수 있다. 실시 예에 따라 각 블록(20과 30)은 하드웨어로 구현될 수 있다.

감지 블록(20)은 그래디언트 크기 유닛(gradient magnitude unit; 21), 그래디언트 방향 레이블 유닛(gradient direction label unit; 23), 근-포화 영역 감지 유닛(near-saturation region detection unit; 25), 및 천이 영역 감지 유닛(transition region detection unit; 27)을 포함한다.

이미지(IMG)는 컬러 구성요소들(components)을 포함한다. 상기 컬러 구성요소들은 RGB 구성요소들이다. 상기 RGB 구성요소들은 RGB 컬러 스페이스(space)에 포함된다.

실시 예에 따라 이미지(IMG)에서 RGB 구성요소들은 YC_bC_r 구성요소들로 변환될 수 있다. 상기 YC_bC_r 구성요소들은 YC_bC_r 컬러 스페이스에 포함된다. 상기 변환은 이미지 처리 프로세서(10)에 의해 수행된다. 이는 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

상기 Y는 루마 구성요소(luma component)이며, C_b와 C_r 각각은 블루-차이(blue-difference)와 레드 차이(red difference) 크로마 구성 요소들(chroma components) 각각이다.

그래디언트 크기 유닛(21)은 G 구성요소의 그래디언트 크기를 에지 문턱값(edge threshold value)과 비교함으로써 천이 영역에서 초기점(initial point) (p,q)를 결정한다. G 구성요소의 그래디언트 크기가 에지 문턱값보다 클 때, 천이 영역에서 초기점 (p,q)이 결정된다.

실시 예에 따라 그래디언트 크기 유닛(21)은 Y 구성요소의 그래디언트 크기를 에지 문턱값과 비교함으로써 천이 영역에서 초기점 (p,q)를 결정할 수 있다.

그래디언트 크기 유닛(21)은 초기점 (p,q)에서 4개의 방향들(수직, 수평, 대각선, 및 반대각선(antidiagonal))의 그래디언트 크기들(또는 값들) 중에서 최고 크기(또는 값)를 계산한다. 그래디언트 크기 유닛(21)은 RGB 구성요소들 각각에 대해 최고 크기를 계산한다. 이는 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

E_C(x,y)=max{|E_Cv(x,y)|, |E_Ch(x,y)|, |E_Cd(x,y)|, |E_Cad(x,y)|}

상기 |E_Cv(x,y)|_,|E_Ch(x,y)|_,|E_Cd(x,y)|_,및 |E_Cad(x,y)|각각은 수직(v), 수평(h), 대각선(diagonal; d), 및 반대각선(antidiagonal; ad) 소벨 마스크들(sobel masks)을 이용하여 계산된 그래디언트 크기이다. 상기 C는 R 구성요소, G 구성요소 또는 B 구성요소를 나타낸다. 상기 E_C(x,y)는 |E_Cv(x,y)|, |E_Ch(x,y)|, |E_Cd(x,y)| 및 |E_Cad(x,y)| 중 최고 크기를 가진다.

실시 예에 따라 이미지(IMG)에서 RGB 구성요소들이 YC_bC_r 구성요소들로 변환될 때, 그래디언트 크기 유닛(21)은 초기점 (p,q)에서 수학식 3을 이용하여 4개의 방향들(수직, 수평, 대각선, 및 반대각선(antidiagonal))의 그래디언트 크기들 중에서 최고 크기를 계산할 수 있다.

[수학식 3]

E_Y ^o(x,y)=max{|E_Y ^v(x,y)|, |E_Y ^h(x,y)|, |E_Y ^d(x,y)|, |E_Y ^ad(x,y)|}

상기 |E_Y ^v(x,y)|, |E_Y ^h(x,y)|, |E_Y ^d(x,y)| 및 |E_Y ^ad(x,y)|각각은 수직(v), 수평(h), 대각선(d), 및 반대각선(ad) 소벨 마스크들을 이용하여 계산된 그래디언트 크기이다. 상기 Y는 루마 구성요소를 나타낸다. 상기 루마 구성요소 대신에 크로마 구성 요소(C_b 또는 C_r)가 이용될 수 있다. 상기 E_Y ^o(x,y)는 |E_Y ^v(x,y)|, |E_Y ^h(x,y)|, |E_Y ^d(x,y)| 및 |E_Y ^ad(x,y)| 중 최고 크기를 가진다.

그래디언트 방향 레이블 유닛(23)은 임의의 점 (x,y)에서 방향 레이블을 선택한다. 이는 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

L_C(x,y)=argmax|E_Ck(x,y)|

상기 _K는 상기 v, h, d, 및 ad 중 어느 하나를 나타낸다. 즉, 상기 L_C(x,y)는 방향 레이블이며, 상기 L_C(x,y)는 상기 v, h, d, 및 ad 중 어느 하나를 가진다. 상기 v는 수직, 상기 h는 수평, 상기 d는 대각선, 및 상기 ad는 반대각선을 나타낸다. 상기 C는 R 구성요소, G 구성요소 또는 B 구성요소를 나타낸다.

실시 예에 따라 이미지(IMG)에서 RGB 구성요소들이 YC_bC_r 구성요소들로 변환될 때, 그래디언트 방향 레이블 유닛(23)은 수학식 5를 이용하여 임의의 점 (x,y)에서 방향 레이블을 선택할 수 있다.

[수학식 5]

L(p,q)=argmax|E_Y ^o(p,q)|

상기 o는 상기 v, h, d, 및 ad 중 어느 하나를 나타낸다. 즉, 상기 L(p,q)는 방향 레이블이며, 상기 v, h, d, 및 ad 중 어느 하나를 가진다. 상기 v는 수직, 상기 h는 수평, 상기 d는 대각선, 및 상기 ad는 반대각선을 나타낸다. 상기 Y는 루마 구성요소를 나타낸다. 상기 루마 구성요소 대신에 크로마 구성 요소(C_b 또는 C_r)가 이용될 수 있다.

그래디언트 방향 레이블 유닛(23)은 어느 방향으로 컬러 프린지가 발생했는지 결정하기 위해 초기점 (p, q)에서 G 구성요소의 방향 레이블 L_G(p,q)을 이용한다. 상기 G 구성요소는 RGB 구성요소들 중에서 기준 신호로서 이용된다.

그래디언트 크기 유닛(21)은 수학식 6을 이용하여 최고 그래디언트 크기(maximum gradient magnitude)를 계산한다.

[수학식 6]

H((x,y)|(p,q))=max{|E_R(x,y)|,|E_G(x,y)|,|E_B(x,y)|}

픽셀 (x,y)은 초기점 (p,q)에 인접하며, 방향 레이블 L_G(p,q)에 의해 구체화되는 방향에 따라 위치된다. L_G(p,q)는 초기점 (p,q)에서 방향 레이블을 나타낸다.

L_G(p,q)=v일 때, y=q이다. L_G(p,q)=h일 때, x=p이다. 상기 x와 y는 픽셀의 좌표를 나타낸다. L_G(p,q)=d일 때, x=p-s, y=q+s이다. L_G(p,q)=ad일 때, x=p-s, y=q-s이다. 상기 s는 양수이며, 초기점 (p,q)의 왼쪽 변환 영역과 관련된다.

유사하게, L_G(p,q)=d일 때, x=p+t, y=q-s이다. L_G(p,q)=ad일 때, x=p+t, y=q+t이다. 상기 t는 양수이며, 초기점 (p,q)의 오른쪽 변환 영역과 관련된다.

실시 예에 따라 그래디언트 크기 유닛(21)은 수학식 7을 이용하여 최고 그래디언트 크기(maximum gradient magnitude)를 계산할 수 있다.

[수학식 7]

H((x,y)|(p,q))=max{|E_Cb ^L ^(p,q)(x,y)|,|E_Cr ^L ^(p,q)(x,y)|}

픽셀 (x,y)은 초기점 (p,q)에 인접하며, 방향 레이블 L(p,q)에 의해 구체화되는 방향에 따라 위치된다. L(p,q)는 초기점 (p,q)에서 방향 레이블을 나타낸다.

다음의 수학식 8과 9가 각각 만족될 때, 천이 영역 감지 유닛(27)은 상기 s와 상기 t의 최대값들을 결정한다.

[수학식 8]

H((x,y)|(p,q))≥T₂

상기 T₂는 문턱값을 나타낸다. 천이 영역 감지 유닛(27)은 최고 그래디언트 크기(H((x,y)|(p,q)))가 문턱값(T₂)보다 큰지 결정한다.

[수학식 9]

(L_R(x,y)=L_G(x,y)) or (L_R(x,y)=L_B(x,y)) or (L_G(x,y)=L_B(x,y))

천이 영역 감지 유닛(27)은 RGB 구성요소들의 방향 레이블들을 서로 비교한다. 즉, 천이 영역 감지 유닛(27)은 RGB 구성요소들의 방향 레이블들 중 적어도 2개가 같은지 결정한다.

이미지(IMG)에서 에지들은 여러 방향들에서 발생한다. 그러므로 컬러 프린지의 검출과 수정을 위해 그래디언트 방향에 따라 변환 영역은 결정되어야 한다.

근-포화 영역 감지 유닛(25)은 이미지(IMG)에서 RGB 구성요소들을 루마(luma) 구성요소(Y)로 변환한다.

[수학식 10]

Y=65.481R+128.553G+24.966B+16

상기 R, G, 및 B은 RGB 구성요소들을 나타내며, 상기 R, 상기 G, 및 상기 B 각각은 0부터 1까지의 범위를 가진다.

근-포화 영역 감지 유닛(25)은 이미지(IMG)에서 팽창된 근-포화 영역(NSR_Dilation)의 경계(boundary), NSR'을 수학식 11과 같이 계산한다.

[수학식 11]

NSR'=NSR_Dilation-NSR

상기 NSR은 근-포화 영역을 나타내며, 상기 NSR_Dilation은 팽창된 근-포화 영역을 나타내며, NSR'은 팽창된 근-포화 영역의 경계를 나타낸다.

상기 Y의 값이 값 '230'보다 크거나 같을 때, 상기 NSR은 값 '1'을 가진다. 상기 Y의 값이 값 '230'보다 작을 때, 상기 NSR은 값 '0'을 가진다.

상기 팽창된 근-포화 영역(NSR_Dilation)은 근-포화 영역(NSR)과 구조 성분(structuring element)의 팽창 연산(dilation operation)을 이용하여 계산된다.

도 3a는 프린지된 이미지(fringed image)를 나타내며, 도 3b는 도 3a에 도시된 이미지의 근-포화 영역의 경계의 검출 결과를 나타낸다.

근-포화 영역의 경계(NSR')는 도 3b에서 화이트(white) 픽셀로서 나타낸다. 상기 화이트 픽셀에서 근-포화 영역의 경계(NSR')의 값은 '1'이다. 근-포화 영역의 경계(NSR')는 컬러 프린지 영역의 후보이다. 근-포화 영역(NSR)은 블루밍(blooming) 효과 때문에 고려되어야 한다.

도 4a는 프린지된 이미지의 일부를 나타내며, 도 4b는 도 4a에 도시된 천이(transition) 영역을 확대한 이미지를 나타낸다.

도 1, 도4a 및 도 4b를 참조하면, 천이 영역 감지 유닛(27)은 그래디언트 크기 유닛(21)에 의해 계산되는 최고 그래디언트 크기(H((x,y)|(p,q))), 그래디언트 방향 레이블 유닛(23)에 의해 선택된 방향 레이블(L_C(x,y)), 및 근-포화 영역 감지 유닛(25)에 의해 계산되는 팽창된 근-포화 영역의 경계(NSR')를 이용하여 천이 영역(TR)을 감지한다.

실시 예에 따라 천이 영역 감지 유닛(27)은 수학식 7과 11을 이용하여 YC_bC_r 스페이스에서 천이 영역(TR)을 감지할 수 있다.

천이 영역(TR)은 픽셀들의 세트로 표현된다. 천이 영역(TR)에서 픽셀 Z(p,q)은 수학식 12와 같이 나타낸다.

[수학식 12]

L_G(p,q), NSR'=1, 및 상기 수학식 4, 5의 조건을 만족할 때, 픽셀 Z(p,q)은 결정된다. 상기 S와 상기 T 각각은 천이 영역(TR)에서 가장 왼쪽 위치(leftmost location)와 가장 오른쪽 위치(rightmost location)를 나타낸다. 즉, 상기 S와 상기 T은 상기 양수 s와 상기 양수 t의 최고값을 각각 나타낸다. i와 j는 도 4a에 도시된 이미지의 좌표를 나타낸다.

도 4a에 도시된 이미지의 일부는 L_G(p,q)=v이므로, 천이 영역(TR)에서 픽셀 Z(p,q)는 {(i,j)|p-S<i<p+T, j=q}이다.

천이 영역(TR)에서 가장 왼쪽 픽셀 좌표와 가장 오른쪽 픽셀 좌표는 l(p,q)와 r(p,q)로 각각 정의된다. 그래디언트 방향 레이블에 따른 l(p,q)와 r(p,q)는 표 1과 같이 나타낸다.

L_G(P,q)	l(p,q)	r(p,q)
v	(p-S,q)	(p+T,q)
h	(p,q-S)	(p,q+T)
d	(p-S,q+S)	(p+T,q-T)
ad	(p-S,q-S)	(p+T,q+T)

도 4a에 도시된 검은 실선(solid black line)은 도 4b에 도시된 검은 박스와 대응된다. 도 4b에 도시된 동그라미, 'x', 및 '+' 각각은 'p', 상기 'p'의 왼쪽 픽셀, 및 상기 'p'의 오른쪽 픽셀을 각각 나타낸다.

도 5a는 도 4b에 도시된 천이 영역을 나타내며, 도 5b는 본 발명의 실시 예에 따른 프린지 제거 방법을 이용하여 프린지가 제거된 천이 영역을 나타낸다. 도 5c는 도 5a에 도시된 검은 실선을 따라 컬러 차이 값들을 나타내는 그래프이며, 도 5d는 도 5b에 도시된 검은 실선을 따라 컬러 차이 값들을 나타내는 그래프이다. 도 5e는 도 5a에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이며, 도 5f는 도 5b에 도시된 검은 실선을 따라 강도 값을 나타내는 그래프이다

도 1, 도 5a, 및 도 5c를 참조하면, 가장 왼쪽 픽셀 좌표 l(p,q)는 604번째 픽셀이며, 가장 오른쪽 픽셀 좌표 r(p,q)은 612번째 픽셀이다. 하얀 색 막대는 R 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값(D_R)을 나타내며, 검은 색 막대는 B 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값(D_B)을 나타낸다.

천이 영역(TR)에서 컬러 프린지가 발생할 때, 천이 영역(TR)에서 컬러 차이 값들(color difference values)은 가장 왼쪽 픽셀 좌표 l(p,q)와 가장 오른쪽 픽셀 좌표 r(p,q)에서 컬러 차이 값들 범위에 속하지 않는다. 가장 왼쪽 픽셀 좌표 l(p,q)에서 컬러 차이 값(D_R)은 0이고, 컬러 차이 값(D_B)은 1이다. 가장 오른쪽 픽셀 좌표 r(p,q)에서 컬러 차이 값(D_R)은 1이고, 컬러 차이 값(D_B)은 -4이다. 즉, 천이 영역(TR)에서 컬러 차이 값들(color difference values)은 -4와 1 사이에 속하지 않는다.

그러므로, 수정 블록(30)은 픽셀 좌표들 l(p,q)와 r(p,q)에서 컬러 차이의 최대 값(컬러 차이 값이 D_R일 때 0, 컬러 차이 값이 D_B일 때 1)과 최소 값(컬러 차이 값이 D_R일 때 0, 컬러 차이 값이 D_B일 때 -4)을 이용하여 천이 영역(TR)에서 컬러 프린지를 수정(또는 제거)할 수 있다. 또한, 수정 블록(30)은 천이 영역(TR)의 각 픽셀에서 G 구성요소의 강도 값을 이용하여 컬러 프린지를 수정(또는 제거)할 수 있다.

이는 수학식 13 내지 15로 나타낼 수 있다.

[수학식 13]

[수학식 14]

[수학식 15]

상기

,

, 및

각각은 수정된 이미지의 R, G, 및 B 컬러 출력들 각각을 나타낸다. D_R(l(p,q))는 가장 왼쪽 픽셀 좌표에서 R 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값을 나타내며, D_R(r(p,q))는 가장 오른쪽 픽셀 좌표에서 R 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값을 나타내며, D_B(l(p,q))는 가장 왼쪽 픽셀 좌표에서 B 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값을 나타내며, D_B(r(p,q))는 가장 오른쪽 픽셀 좌표에서 B 컬러 성분과 G 컬러 성분 사이의 컬러 차이 값을 나타낸다. 상기 (x,y)는 천이 영역(TR)에서 픽셀 Z(p,q)의 구성 요소(element)를 나타낸다.

수정 블록(30)은 G 구성요소의 방향 레이블 L_G(p,q)에 의해 구체화되는 방향에 따라 컬러 프린지를 수정한다.

도 5a와 도 5e를 참조하면, 천이 영역(TR)에서 R, G, 및 B의 강도 값들은 서로 다른 기울기들을 가진다.

도 5b와 도 5d를 참조하면, 천이 영역(TR)에서 컬러 프린지가 제거된 후, 천이 영역(TR)에서 컬러 차이 값들(color difference values)은 가장 왼쪽 픽셀 좌표 l(p,q)와 가장 오른쪽 픽셀 좌표 r(p,q)에서 컬러 차이 값들 사이에 위치한다. 도 5d에서 검은 실선은 가장 왼쪽 픽셀 좌표 l(p,q)를 나타내며, 검은 점선은 가장 오른쪽 픽셀 좌표 r(p,q)를 나타낸다.

도 5b와 도 5f를 참조하면, 천이 영역(TR)에서 R, G, 및 B의 강도 값들은 서로 같은 기울기를 가진다.

도 6은 C_bC_r 평면에서 퍼플 컬러 프린지 영역을 나타낸다.

도 2와 도 6을 참조하면, 수정 블록(30)은 크로마 구성 요소들(C_b와 C_r)의 값들과 수학식 5에 따른 방향 레이블(L(p,q))을 이용하여 컬러 프린지를 제거할 수 있다.

수정 블록(30)은 검출된 천이 영역에서 수학식 16을 이용하여 컬러 프린지 발생도(the degree of color fringe occurrence)를 계산할 수 있다.

[수학식 16]

상기 PD(x,y)는 퍼플 컬러 프린지 발생도를 나타내며, θ(x,y)는 휴 값(hue value)을, F_θ와 θ_max은 휴 센터(hue center)와 휴 각(hue angle)을 각각 나타낸다. θ(x,y)는 -180도에서 180도 사이의 범위를 가진다. 도 6에서 컬러 프린지 영역은 F_θ-θ_max에서F_θ+θ_max사이의 범위를 가지는 영역으로 정의된다. 상기 컬러 프린지 발생도 PD(x,y)는 0에서 1 사이의 범위를 가진다. 휴 값(θ(x,y))이 컬러 프린지 영역 밖에 위치할 때, 상기 휴 값에 대응되는 픽셀은 컬러 프린지가 발생되지 않은 픽셀(non-color fringe pixel)로 결정된다. 상기 컬러 프린지 발생도 PD(x,y)의 값이 클수록 컬러 프린지 영역도 커진다.

수정 블록(30)은 상기 수학식 16을 이용하여 레드, 그린, 블루, 및 퍼플(purple) 컬러 프린지 각각에 대한 컬러 프린지 발생도들을 계산한다. 컬러 프린지 각각에 대한 컬러 프린지 발생도들(RD(x,y), GD(x,y), BD(x,y), 및 PD(x,y))은 표 2의 파라미터 값들을 이용하여 계산될 수 있다.

Type of Color Fringe	F_θ	θ_max
Purple	59.56°	41.09°
Red	99.78°	12.18°
Green	-115.07°	49.97°
Blue	-34.43°	28.50°

수정 블록(30)은 수학식 17을 이용하여 컬러도(color degree; CD(x,y))를 결정한다. 즉, 수정 블록(30)은 레드, 그린, 블루, 및 퍼플(purple) 컬러 프린지 각각에 대한 컬러 프린지 발생도들 중 가장 큰 값을 컬러도(CD(x,y))로서 결정한다.

[수학식 17]

CD(x,y)=max{RD(x,y),GD(x,y),BD(x,y),PD(x,y)}

RD(x,y), GD(x,y), BD(x,y), 및 PD(x,y) 각각은 레드, 그린, 블루, 및 퍼플(purple) 컬러 프린지 각각에 대한 컬러 프린지 발생도를 각각 나타낸다.

수정 블록(30)은 크로마 구성 요소들(C_b과 C_r)의 값들을 수정하기 위해 수학식 18을 이용하여 포화 값(saturation value; SAT)을 계산한다.

[수학식 18]

C_b(i,j)와 C_r(i,j) 각각은 천이 영역의 픽셀 (i,j)에서 크로마 구성 요소들(C_b과 C_r) 각각의 값이다. 상기 포화 값이 큰 값을 가질 때, 상기 포화 값과 대응되는 픽셀 값은 근-포화 영역(NSR)에 포함된다. 컬러도(CD)와 포화 값(SAT)이 작을수록 컬러 프린지 수정에 있어서 크로마 구성 요소들(C_b와 C_r)의 값들이 커진다.

수정 블록(30)은 컬러 프린지 영역에서 크로마 구성 요소들(C_b와 C_r)의 값들을 수정하기 위한 가중치 값들(weight values)을 결정하기 위해 휴 값 θ(x,y)을 계산한다. 휴 값 θ(x,y)의 계산은 미국 특허 7,529,405에서 자세히 설명되므로 이에 대한 설명은 생략한다.

수정 블록(30)은 수학식 19를 이용하여 색차 값들(chrominance values)을 수정한다.

[수학식 19]

C'(x,y)=

상기 C'(x,y)는 수정된 색차 값들이며, 상기 C'(x,y)는 이미지(IMG)에서 크로마 구성 요소(C_b또는 C_r)의 값을 나타낸다. 상기 M은 방향 레이블에 따라 이웃 픽셀들의 수를 나타낸다. 상기 W_i _,j는 각 픽셀의 가중치 값들을 나타내며, 각 픽셀의 가중치 값들(W_i _,j)은 컬러도(CD)와 포화 값(SAT)을 이용하여 계산될 수 있다. 이는 수학식 20으로 표현된다.

[수학식 20]

도 7은 본 발명의 실시 예에 따른 컬러 프린지 제거 방법을 설명하기 위한 흐름도를 나타낸다.

근-포화 영역 감지 유닛(25)은 이미지(IMG)에서 팽창된 근-포화 영역(NSR_Dilation)의 경계(boundary; NSR'(x,y))를 계산한다(S20).

천이 영역 감지 유닛(27)은 상기 최고 그래디언트 크기와 상기 팽창된 근-포화 영역의 경계에 따라 이미지(IMG)에서 천이 영역(TR)을 감지한다(S30).

수정 블록(30)은 천이 영역(TR)에서 컬러 프린지를 제거한다(S40).

도 8은 도 2에 도시된 이미지 처리 프로세서를 포함하는 시스템의 일 실시 예의 블록도를 나타낸다.

도 2와 도 8을 참조하면, 시스템(800)은 이미지 처리 프로세서(10)와 프로세서(810)를 포함한다.

프로세서(810)는 구성 요소(10, 820 또는 830)를 제어하기 위한 명령들을 실행한다. 각 구성 요소들(10, 810, 820, 및 830)은 버스(801)를 통해 서로 통신한다.

메모리(820)는 프로세서(810)에 의해 실행되는 명령들 또는 이미지 처리 프로세서(10)에 의해 처리되는 이미지(IMG)를 저장할 수 있다.

인터페이스(830)는 이미지 처리 프로세서(10)에 의해 처리되는 이미지를 출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(830)는 무선 인터페이스로 구현될 수 있다.

시스템(800)은 이동 전화기, 스마트 폰(smart phone), 태블릿 (tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라 (digital still camera), 디지털 비디오 카메라 (digital video camera), PMP (portable multimedia player), PDN(personal navigation device 또는 portable navigation device), 스마트 TV, 휴대용 게임 콘솔(handheld game console), 보안 카메라 또는 e-북(e-book)으로 구현될 수 있다.

도 9는 도 2에 도시된 이미지 처리 프로세서를 포함하는 시스템의 다른 실시 예의 블록도를 나타낸다.

도 9를 참조하면, 시스템(900)은 MIPI^®(mobile industry processor interface)를 사용 또는 지원할 수 있는 이미지 처리 장치, 예컨대 PDA (personal digital assistant), PMP(portable media player), 이동 전화기, 스마트폰(smartphone), 또는 태블릿 PC(tablet computer)와 같은 휴대용 장치(portable device)로 구현될 수 있다.

시스템(900)은 어플리케이션 프로세서(910), 이미지 센서(920), 및 디스플레이(930)를 포함한다.

어플리케이션 프로세서(910)는 도 2에 도시된 이미지 처리 프로세서(10)를 포함할 수 있다.

어플리케이션 프로세서(910)에 구현된 CSI(camera serial interface) 호스트(912)는 카메라 시리얼 인터페이스(CSI)를 통하여 이미지 센서(920)의 CSI 장치(921)와 시리얼 통신할 수 있다. 실시 예에 따라, CSI 호스트(912)에는 디시리얼라이저(DES)가 구현될 수 있고, CSI 장치(921)에는 시리얼라이저(SER)가 구현될 수 있다.

어플리케이션 프로세서(910)에 구현된 DSI(display serial interface(DSI)) 호스트(911)는 디스플레이 시리얼 인터페이스를 통하여 디스플레이(930)의 DSI 장치(931)와 시리얼 통신할 수 있다. 실시 예에 따라, DSI 호스트(911)에는 시리얼라이저(SER)가 구현될 수 있고, DSI 장치(931)에는 디시리얼라이저(DES)가 구현될 수 있다.

시스템(900)은 어플리케이션 프로세서(910)와 통신할 수 있는 RF 칩(940)을 더 포함할 수 있다. 시스템(900)의 PHY(913)와 RF 칩(940)의 PHY(941)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

시스템(900)은 GPS 수신기(950), DRAM(dynamic random access memory)과 같은 메모리(952), NAND 플래시 메모리와 같은 불휘발성 메모리로 구현된 데이터 저장 장치(954), 마이크(956), 또는 스피커(958)를 포함할 수 있다.

또한, 시스템(900)은 적어도 하나의 통신 프로토콜(또는 통신 표준), 예컨대, UWB (ultra-wideband; 960), WLAN(Wireless LAN; 962), WiMAX (worldwide interoperability for microwave access; 964), 또는 LTE^TM(long term evolution; 미도시) 등을 이용하여 외부 장치와 통신할 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10; 이미지 처리 프로세서
20; 감지 블록
21; 그래디언트 크기 유닛
23; 그래디언트 방향 레이블 유닛
25; 근-포화 영역 감지 유닛
27; 천이 영역 감지 유닛
30; 수정 블록

Claims

이미지의 컬러 구성요소들 각각의 그래디언트 크기들 중 최고 그래디언트 크기를 선택하되, 상기 컬러 구성요소들 각각의 그래디언트 크기들 각각은, 상기 컬러 구성요소들 각각에 대해 수직, 수평, 대각선, 및 반대각선 소벨 마스크들(sobel masks) 각각을 이용하여 계산된 그래디언트 크기들 중 가장 큰 값을 나타내는 단계;
상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 단계;
상기 최고 그래디언트 크기와 상기 팽창된 근-포화 영역의 경계에 따라 상기 이미지에서 천이 영역을 감지하는 단계; 및
상기 천이 영역에서 컬러 프린지를 제거하는 단계를 포함하는 컬러 프린지 제거 방법.
삭제
제1항에 있어서, 컬러 프린지 제거 방법은
상기 이미지의 임의의 점에서 상기 컬러 구성요소들 중 적어도 어느 하나에 대해 방향 레이블을 선택하는 단계를 더 포함하며,
상기 방향 레이블은 상기 천이 영역의 감지에 이용되는 컬러 프린지 제거 방법.
제3항에 있어서, 상기 방향 레이블은,
v, h, d, 및 ad 중 어느 하나이며,
상기 v는 수직, 상기 h는 수평, 상기 d는 대각선, 및 상기 ad는 반대각선을 나타내는 컬러 프린지 제거 방법.
제1항에 있어서, 상기 감지된 천이 영역에서 상기 팽창된 근-포화 영역의 경계의 값은 1인 컬러 프린지 제거 방법.
제1항에 있어서, 상기 감지된 천이 영역에서 상기 최고 그래디언트 크기는 문턱값보다 큰 컬러 프린지 제거 방법.
제3항에 있어서, 상기 컬러 구성요소들 각각에 대해 방향 레이블들 각각이 선택될 때, 상기 감지된 천이 영역에서 상기 컬러 구성요소들 각각에 대한 상기 방향 레이블들 중 적어도 2개는 같은 컬러 프린지 제거 방법.
제1항에 있어서, 상기 이미지에서 팽창된 근-포화 영역의 경계를 계산하는 단계는,
상기 이미지에서 루마(luma) 구성요소를 문턱값과 비교하여 근-포화 영역을 계산하는 단계;
상기 근-포화 영역과 구조 성분(structuring element)의 팽창 연산(dilation operation)을 이용하여 팽창된 근-포화 영역을 계산하는 단계; 및
상기 근-포화 영역과 상기 팽창된 근-포화 영역의 차이에 의해 상기 팽창된 근-포화 영역의 경계를 계산하는 단계를 포함하는 컬러 프린지 제거 방법.
제1항에 있어서, 상기 천이 영역에서 컬러 프린지를 제거하는 단계는,
상기 최고 그래디언트 크기에 따라 상기 천이 영역의 가장 왼쪽 픽셀 좌표와 가장 오른쪽 픽셀 좌표를 계산하는 단계; 및
상기 가장 왼쪽 픽셀 좌표와 상기 가장 오른쪽 픽셀 좌표에서 컬러 차이의 최대값과 최소값을 이용하여 상기 천이 영역에서 컬러 프린지를 제거하는 단계를 포함하는 컬러 프린지 제거 방법.
제1항에 있어서, 상기 천이 영역에서 컬러 프린지를 제거하는 단계는,
상기 천이 영역에서 컬러 프린지 각각에 대한 컬러 프린지 발생도들(the degree of color fringe occurrence)을 계산하는 단계;
상기 컬러 프린지 발생도들 중 가장 큰 값을 컬러도로서 결정하는 단계;
상기 이미지의 크로마 구성 요소들의 값들을 이용하여 포화 값을 계산하는 단계;
상기 컬러도와 상기 포화 값을 이용하여 상기 천이 영역의 각 픽셀의 가중치 값들을 계산하는 단계; 및
상기 각 픽셀의 가중치 값들을 이용하여 상기 크로마 구성요소들을 수정하는 단계를 포함하는 컬러 프린지 제거 방법.