KR101637488B1

KR101637488B1 - 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치

Info

Publication number: KR101637488B1
Application number: KR1020090098876A
Authority: KR
Inventors: 장순근; 박래홍; 이지원
Original assignee: 삼성전자주식회사; 서강대학교산학협력단
Priority date: 2009-01-16
Filing date: 2009-10-16
Publication date: 2016-07-07
Also published as: KR20100084458A

Abstract

본 발명은 이미지 보간 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 이미지 보간 방법은 CFA 이미지로부터 수평/수직 절대 채널간 차이를 계산하고, R, G, B의 DAIDs를 고려하여 추정된 수평/수직 방향을 따라 보간함으로써, 피크 신호대 잡음비(PSNR) 및 구조적 유사도(SSIM)가 크고, 시각적 품질도 뛰어난 효과가 있다.

적응적, CFA, 가중치, 디모자이싱, 보간

Description

컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치{Image interpolation method and apparatus using pattern characteristics of color filter array}

본 발명은 이미지 처리에 관한 것으로, 더 상세하게는 이미지 보간 방법 및 장치에 관한 것이다.

대부분의 디지털 카메라와 캠코더는 컬러 CCD 또는 CMOS를 통해 컬러 이미지들을 캡쳐한다. 획득한 이미지는 컬러 필터 어레이(color filter array, 이하 'CFA' 라 한다)의 패턴에 따라 모자이싱된 이미지이고, 모자이싱된 이미지는 각각의 픽셀에 대해 2개의 모르는 컬러 값들과 하나의 알고 있는 컬러 값을 가진다. CFA 패턴은 레드(R), 그린(G) 및 블루(B) 채널들로 구성되며, 각각의 채널은 다른 팩터에 의해 데시메이트된다. 데시메이트된 G 채널은 R/B 채널에 비해 2배의 픽셀들을 갖는다. R/B 컬러들은 줄 또는 열을 따라 G 컬러와 교번한다. 즉 G와 R 또는 G와 B로 번갈아 교번한다.

디모자이싱(demosaicing), 즉 CFA 보간법(interpolation)은 풀-컬러 이미지를 생성하기 위해 미지의 R,G 및 B 컴포넌트들을 재구성하는 프로세스이다. 각각 의 픽셀의 2개의 미지의 컬러들은 다양한 디모자이싱 알고리즘에 의해 추정된다. 디모자이싱 알고리즘은 불완전한 데이터, 즉 각각의 픽셀에서 2개의 빠진 데이터로부터 풀-컬러 이미지를 재구성하는 것이다. 이러한 재구성 알고리즘은 RGB 채널들에서 이용 가능한 데이터의 채널간 및 채널내 상관을 사용한다.

종래의 적응적 디모자이싱 알고리즘은 컬러 상관과 이미지의 지역적 특성을 고려한다. 에지 방향 보간법(edge-directed interpolation) 및 다양한 적응적 가중합 보간법들은 미지의 픽셀 값들의 보간을 위해 적응적 가중치를 사용한다. 또한, 지퍼 효과(zipper effect), 잘못된 컬러(false color), 및 에일리어싱과 같은 아티팩트(artifacts)가 나타나는 고주파 영역에서, 채널들의 컬러 차이, 즉 R채널과 G채널, B채널과 G채널의 컬러 차이가 높은 상관성을 가짐으로 종래의 디모자이싱 알고리즘들은 이러한 특성들을 이용한다.

종래의 적응적 디모자이싱 알고리즘으로는, X. Li,의 "Demosaicing by successive approximation," IEEE Trans. Image Process., vol. 14, no. 3, pp. 370-379, Mar. 2005., 와 W. Lu 등의 "Color filter array demosaicing: New method and performance measures," IEEE Trans. Image Process., vol. 12, no. 10, pp. 1194-1210, Oct. 2003. 등이 있다.

Li는 각각의 컬러 채널을 초기 보간한 후에 컬러 차이를 구해 컬러 차이 도메인에서 라플라시안 필터를 적용한 값을 통해 에지의 방향을 찾아 초기 보간된 화소 값들을 업데이트한다. 여기서 업데이트는 중단 기준(stop criterion)을 만족할 때까지 반복하여 잘못된 컬러 및 지퍼 흠결들을 억제하기 위해서, 모든 반복에서 컬러 차이 규칙을 강조함으로써 미지의 컬러 픽셀 값들의 추정치를 조정한다.

Lu는 컬러 차이 모델 또는 컬러-비율 모델을 사용하는 에지 센싱 알고리즘이며, 에지들을 가로 질러 보간하는 것을 방지하면서, 에지들을 따라 보간함으로써 에지들을 보존한다. 미지의 컬러 픽셀 값들을 추정하기 위해, 이러한 방법들은 이웃하는 픽셀들 간의 공간적 상관성을 고려하고, 이웃하는 픽셀을 이용하여 적당한 보간 방향을 고른다.

전술한 종래 기술들은 고품질의 디모자이싱된 이미지들 생성하는데, 특히 샤프 에지들과 같은 고주파 영역들을 재구성하는데 효과적이다. 하지만, Li는 초기 보간된 픽셀의 업데이트를 위해, 멈춤 기준을 만족할 때까지 반복하기 때문에 계산 속도가 느리고, 초기 보간한 값이 에지 방향이 잘못되도록 보간 되는 경우 왜곡현상이 발생하게 된다.

또한, 전술한 종래기술들은 잘못된 색, 에일리어싱, 및 지퍼 효과 등과 같은 아티팩트(artifacts)를 감소시키는 데는 충분하지 않다. 에지 주위의 잘못된 색 및 디모자이싱된 이미지의 디테일한 텍스쳐는 이미지 품질을 떨어뜨린다. 지퍼 효과, 디모자이싱된 이미지의 샤프 컬러 에지와 같은 오버슈트 흠결들은 때로 적응적 알고리즘의 또 하나의 단점으로 나타난다.

본 발명은 전술한 종래기술들의 문제점을 해결하기 위해 안출된 것으로, CFA의 특성을 고려하여 DAID(Differences of Absolute Inter-channel Differences)로부터 에지 방향을 검출하고, 검출한 에지 방향을 따라 CFA 이미지로부터 직접 3가지 컬러 픽셀값들을 보간할 수 있는 이미지 보간 방법 및 장치를 제공하는 데 목적이 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시 예에 따른 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법은 컬러 필터 어레이에 배열된 R,G,B 픽셀들의 패턴 특성에 따라 중심 픽셀을 기준으로 좌,우,상,하 방향의 절대 채널간 차이값들을 계산하여 에지 방향을 검출하는 단계; 상기 R,G,B 픽셀들의 패턴 특성에 따라 좌,우,상,하 방향의 방향성 가중치를 각각 계산하는 단계; 및 상기 검출한 에지 방향에 따라 상기 R,G,B 픽셀들로부터 좌,우,상,하 방향의 컬러 차이값 및 상기 계산한 방향성 가중치를 이용하여 미지의 픽셀을 보간하는 단계를 포함하고, 상기 절대 채널간 차이값은 중심 화소의 일 측상에 제1 채널의 컬러 강도 값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값에서, 중심 화소의 반대 측상의 제1 채널 화소의 컬러 강도값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값의 감산하여 계산되는 것을 특징으로 한다.

바람직하게, 상기 절대 채널간 차이값들은, 좌,우,상,하 각각의 방향으로 이웃하는 픽셀값들의 차이값들인 것을 특징으로 한다.

바람직하게, 상기 검출 단계는, 상기 좌,우,상,하 방향의 절대 채널간 차이 값들로부터 상기 좌,우 방향의 차이값인 수평 차이(D_H) 및 상기 상,하 방향의 차이값인 수직 차이(D_V)를 각각 계산하는 것을 특징으로 한다.

바람직하게, 상기 검출 단계는, 컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우, 상기 수평 차이(D_H)와 수직 차이(D_V)는 다음 수학식 4 및 5를 이용하여 계산하는 것을 특징으로 한다.

바람직하게, 상기 보간 단계는, 컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우, 미지의 픽셀 G는 다음 수학식 6을 이용하여 보간하는 것을 특징으로 한다.

바람직하게, 상기 보간 단계는, 미지의 픽셀 중 G 픽셀을 보간한 다음, 보간한 G 픽셀값(G')을 기초로 미지의 나머지 픽셀값을 보간하는 것을 특징으로 한다.

바람직하게, 상기 보간 단계는, 컬러 필터 어레이 패턴의 중심 픽셀이 B_i,j인 경우, 미지의 R 픽셀은 다음 수학식 15를 이용하여 보간하는 것을 특징으로 한다.

바람직하게, 상기 컬러 필터 어레이 패턴의 중심 픽셀이 G_i,j인 경우, 상기 수학식 15에서, 좌, 우, 상, 하 방향의 컬러 차이 값들은 각각

,

인 것을 특징으로 한다.

바람직하게, 상기 이미지 보간 방법은 보간된 픽셀값에 알고 있는 픽셀의 고 주파 성분값을 더함으로써 보간된 픽셀값을 조정하는 단계를 더 포함하는 것을 특징으로 한다.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치는 컬러 필터 어레이에 배열된 R,G,B 픽셀들의 패턴 특성에 따라 중심 픽셀을 기준으로 좌,우,상,하 방향의 절대 채널간 차이값들을 계산하여 에지 방향을 검출하는 에지 방향 검출부; 상기 R,G,B 픽셀들의 패턴 특성에 따라 좌,우,상,하 방향의 방향성 가중치를 계산하는 가중치 계산부; 및 상기 검출한 에지 방향에 따라 상기 R,G,B 픽셀들로부터 좌,우,상,하 방향의 컬러 차이값 및 상기 계산한 방향성 가중치를 이용하여 미지의 픽셀을 보간하는 보간부를 포함하고, 상기 절대 채널간 차이값은 중심 화소의 일 측상에 제1 채널의 컬러 강도 값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값에서, 중심 화소의 반대 측상의 제1 채널 화소의 컬러 강도값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값의 감산하여 계산되는 것을 특징으로 한다.

바람직하게, 상기 에지 방향 검출부는, 상기 좌,우,상,하 방향의 절대 채널간 차이값들로부터 상기 좌,우 방향의 차이값인 수평 차이(D_H) 및 상기 상,하 방향의 차이값인 수직 차이(D_V)를 각각 계산하는 것을 특징으로 한다.

바람직하게, 상기 에지 방향 검출부는, 컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우, 상기 수평 차이(D_H)와 수직 차이(D_V)는 다음 수학식 4 및 5를 이용하여 계산하는 것을 특징으로 한다.

바람직하게, 상기 보간부는, 컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경 우, 미지의 픽셀 G는 다음 수학식 6을 이용하여 보간하는 것을 특징으로 한다.

바람직하게, 상기 보간부는, 미지의 픽셀 중 G 픽셀을 보간한 다음, 보간한 G 픽셀값(G')을 기초로 미지의 나머지 픽셀값을 보간하는 것을 특징으로 한다.

바람직하게, 상기 보간부는, 컬러 필터 어레이 패턴의 중심 픽셀이 B_i,j인 경우, 미지의 R 픽셀은 다음 수학식 15를 이용하여 보간하는 것을 특징으로 한다.

,

인 것을 특징으로 한다.

바람직하게, 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치는 보간된 픽셀값에 알고 있는 픽셀의 고주파 성분값을 더함으로써 보간된 픽셀값을 조정하는 조정부를 더 포함하는 것을 특징으로 한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 상기 이미지 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

제안된 알고리즘은 생생한 컬러 에지들과 텍스쳐 주위의 지퍼 효과를 줄인다. 제안된 알고리즘의 성능을 평가하기 위해서, 종래의 디모자이싱 알고리즘이 시뮬레이션 된다. 실험 결과들이 피크 신호대 잡음비(PSNR)와, 구조적 유사도(SSIM) 및 시각적 품질의 측면에서 비교된다. 제안된 알고리즘의 성능은 공지의 기술들보다 뛰어난 성능을 보이고 컬러 에지 및 텍스처의 지퍼 효과를 잘 감소시킨다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

도 1은 베이어 CFA 패턴을 도시하며, 전체 픽셀 수의 절반은 그린이고, 나머지 픽셀들은 레드 또는 블루로 동일하게 할당된다. 이러한 패턴의 각각의 픽셀은 하나의 컬러, 즉 R, G, 또는 B에만 민감하다. 따라서, 이러한 패턴을 사용해서 획득한 컬러 이미지들은 풀-컬러 이미지를 생성하기 위해 3개의 컬러 채널들에서 보간되며, 이를 CFA 디모자이싱 또는 보간(interpolation)이라 한다.

일반적인 적응적 가중합 알고리즘의 기본 개념은 모자이싱된 이미지로부터 국부적 분산을 추정하고 나서, 디모자이싱을 위해 국부적 분산을 이용하는 것이다. 대부분 종래의 알고리즘은 이웃하는 픽셀의 강도의 가중합을 이용해서 모자이싱된 이미지를 획득한다.

도 1a, 1b, 1c는 5×5 베이어 CFA 패턴을 도시하고, 각각은 패턴의 센터에 각각 R, G, B 픽셀을 갖는다. 도 1a의 CFA 패턴을 참조하면, 미지의 G 픽셀이 수평 및 수직 그래디언트들을 이용해서 보간의 방향성을 고려하여 먼저 추정되는데, 이는 다음 수학식 1 및 2와 같다.

여기서, G_p,q 및 R_p,q 는 CFA 패턴의 (p,q)에서 각각의 알고있는 G 및 R 픽셀 강도 값들이고, 수평 그래디언트 ΔH_i,j, 수직 그래디언트 ΔV_i,j 를 이용해서 미지의 G 픽셀 값

이 다음 수학식 3과 같이 계산된다.

도 1b는 도 1a와 유사하며, 단지 R_p,q 가 B_p,q 로 바뀌었다. 따라서, 도 1b의 CFA 패턴을 이용해서 미지의 G 픽셀 값,

는 상기 수학식 1 내지 3에서, R_p,q 를 B_p,q 로 대체하고 동일하게 계산하여 추정된다.

도 1c는 미지의 R 픽셀 값 및 B 픽셀 값을 갖는 G 센터 픽셀에서의 베이어 CFA 패턴을 도시한다. 여기서, 고주파 컴포넌트들은 3가지 컬러 컴포넌트, 즉 R,G 및 B에 걸쳐 유사성을 갖는다는 가정하에, 보간된 G 픽셀, 즉

을 이용해서 미지의 R 픽셀 값 및 B 픽셀 값이 추정된다.

도 2는 본 발명의 일 실시 예에 따른 CFA 패턴의 특성을 이용한 이미지 보간 장치(100)의 개략적인 블록도이다.

도 2를 참조하면, 이미지 보간 장치(100)는 에지 방향 검출부(110), 가중치 계산부(120), 보간부(130) 및 조정부(140)를 포함한다.

본 발명의 일 실시 예에서, 보간 방향을 결정하기 위해 수평 및 수직 DAIDs 가 CFA 이미지로부터 직접 계산된다. 일반적으로 고주파 영역에서 나타나는 디모자이싱된 이미지에서의 아티팩트는 R/B 채널에서의 에일리어싱에 의해 1차적으로 발생하는데, 이는 데시메이션된 R/B 채널들은 데시메이션된 G채널에 비하여 픽셀수가 반이기 때문이다. 바람직하게, 컬러 채널들 R, G, B 간에 높은 상관성, 즉 채널간 상관성이 컬러 이미지의 고주파 영역에서 존재한다.

R, G, B 채널의 고주파 컴포넌트들은 에지와 텍스처 영역에서 크다. 에지들의 위치가 R, G, B 채널들에서 동일하다는 것을 가정한다. 여기서, 에지 방향과 방향성 보간 가중치를 추정하기 위해, 절대 채널간 차이를 사용하는데, 이는 CFA 패턴으로부터 직접 계산된다. 도 1a에 도시된 센터 열을 따르는 성분들은 G와 R이 교대한다. 유사하게 도 1b, 1c에서도 적용 가능하다. 각각의 픽셀에서, 보간 방향은 수평 및 수직 방향을 따라 이웃 픽셀 값들을 이용하여 계산되고, 적응적 방향 가중치는 검출된 보간 방향을 따라 이웃 픽셀들 사이의 공간 상관성을 이용하여 추정된다.

에지 방향 검출부(110)는 컬러 필터 어레이에 배열된 R,G,B 픽셀들의 패턴 특성에 따라 중심 픽셀을 기준으로 좌,우,상,하 방향의 절대 채널간 차이값들을 계산하여 에지 방향을 검출한다. 에지 방향의 검출을 위해 DAIDs(D_H, D_V)를 계산하는데, 여기서, 절대 채널 간 차이(D_H ^L, D_H ^R, D_V ^U, D_V ^D)가 사용된다. 예를 들면, 도 1a의 CFA 패턴을 참조하면, DAIDs(D_H, D_V)는 수평 및 수직 방향을 따라 다음 수학식 4 및 5와 같이 각각 정의된다.

여기서, R_p.q 와 G_p,q 는 각각 R과 G 채널에서의 위치 (p,q)에서의 컬러 강도 값이고, D_H ^L, D_H ^R, D_V ^U, D_V ^D 는 좌, 우, 상, 하 방향에서의 절대 채널간 차이를 각각 의미한다. DAIDs(D_H, D_V)는 CFA의 센터에서의 R_i,j를 이용하여 5×5 윈도우에서 계산된다.

도 1b는 단지 R_p,q 와 B_p,q 가 교체된 것을 제외하고 유사하다. 따라서, 도 1b의 CFA 패턴을 이용해서, DAIDs(D_H, D_V)가 상기 수학식 4 및 5에서 R_p,q를 B_p,q로 교체하고 계산된다. 도 1c의 CFA 패턴을 이용해서, DAIDs(D_H, D_V)가 상기 수학식 4 및 5에서 R_p,q 를 G_p,q 로 바꾸고, 상기 수학식 4에서 G_p,q를 B_p,q로 바꾸고, 상기 수학식 5에서, G_p,q 를 R_p,q 로 바꾸고 계산한다.

가중치 계산부(120)는 R,G,B 픽셀들의 패턴 특성에 따라 좌,우,상,하 방향의 방향성 가중치를 계산한다.

보간부(130)는 에지 방향 검출부(110)에서 검출한 에지 방향, 즉 수평 차 이(D_H) 및 수직 차이(D_V)에 따라 R,G,B 픽셀들로부터 좌,우,상,하 방향의 컬러 차이값, 예를 들면 ΔG_H ^L, ΔG_H ^R, ΔG_V ^U, ΔG_V ^D 과 가중치 계산부(120)에서 계산한 방향성 가중치, 즉 γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 를 이용하여 미지의 픽셀을 보간한다.

에지 방향을 검출한 후에, 적응적 보간 가중치를 유도하고, 방향 보간 가중치와 컬러 차이 값들을 이용해서 미지의 픽셀 값을 적응적으로 보간한다.

도 1a에서, 5×5 베이어 CFA 패턴의 센터에 R픽셀이 있고, 미지의 G 픽셀값, G'_i,j 는 다음 수학식 6과 같이 보간된다.

여기서, ΔG_H ^L, ΔG_H ^R, ΔG_V ^U, ΔG_V ^D 는 각각 좌, 우, 상, 하 방향에서 정의되는 컬러 차이 값들이고, 다음 수학식 7 내지 10과 같이 각각 계산된다. 도 3을 함께 참조하면, ΔG_H ^L은 도 3에 도시된 좌측 방향(310)처럼 다음 수학식 7을 이용하 고, ΔG_H ^R은 우측 방향(320)처럼 다음 수학식 8을 이용하고, ΔG_V ^U은 도 3에 도시된 위 방향(330)처럼 다음 수학식 9를 이용하고, ΔG_V ^D는 도 3에 도시된 아래 방향(340)처럼 다음 수학식 10을 이용하여 각각 계산한다.

상기 수학식 6에서, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌, 우, 상 및 하 방향에서 정의되는 방향 보간 가중치를 나타내며, 다음 수학식 11 내지 14를 이용하여 계산된다.

도 1b는 R_p,q 와 B_p,q 가 바뀐 것을 제외하고 도 1a와 유사하다. 따라서, B 픽셀이 5×5 베이어 CFA 패턴의 센터인 도 1b에서, 미지의 G 픽셀 값, G'_i,j 는 R_p,q 를 B_p,q 로 바꾸고, 상기 수학식 6 내지 14를 이용해서 유사하게 추정된다.

보간부(130)는 G 픽셀 보간 후에, R 픽셀 및 B 픽셀 보간을 수행한다. 예를 들면, B 픽셀이 5×5 베이어 CFA 패턴의 센터인 도 1b에서, 미지의 R 픽셀 값, R'_i,j 는 다음 수학식 15를 이용해서 보간된다.

여기서, ΔR_H ^L, ΔR_H ^R, ΔR_V ^U, ΔR_V ^D 는 각각 좌, 우, 상, 하 방향에서 정의되는 컬러 차이 값들이고, 유사하게 CFA 패턴을 시계 방향으로 45도 만큼 회전시킨 후에 정의된다. 도 4a를 함께 참조하면, 도시된 것처럼 좌, 우, 상, 하 방향이 정의되며, 다음 수학식 16 내지 19와 같이 각각 계산된다.

상기 수학식 15에서, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌, 우, 상, 하 방향에서 유사하게 정의되는 방향 보간 가중치를 나타내며, 다음 수학식 20 내지 23를 이용하여 계산된다.

본 발명의 일 실시 예에서, 상기 수학식 20 내지 23에 따라 계산된 도 1b의 방향 보간 가중치를 이용하여 R 픽셀을 보간한다.

도 1a는 B_p,q 와 R_p,q 가 교체된 것을 제외하고 도 1b와 유사하다. 따라서, R 픽셀이 5×5 베이어 CFA 패턴의 센터인 도 1a에서, 미지의 B 픽셀값( B'_i,j)는 B_p,q 를 R_p,q 로 바꾸고, 상기 수학식 15 내지 23를 이용해서 유사하게 추정된다.

도 1c에서, R/B 픽셀 보간에 대해, 방향 가중치 γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 R_p,q 는 G_p,q, G_p,q 는 상기 수학식 11 및 12에서는 B_p,q로, 상기 수학식 13 및 14에서는 R_p,q 로 바꾸고, 상기 수학식 11 내지 14를 이용해서 추정된다. 미지의 R 픽셀 값(R'_p,q)는 상기 수학식 15, 및 컬러 차이 값 및 방향 가중치를 이용해서 보간되는데, 컬러 차이 값은 다음 수학식 24 내지 27과 같이 정의된다.

미지의 B 픽셀, B'_p,q 는 상기 수학식 15와, R 픽셀의 컬러 차이 값들 ΔR_H ^L, ΔR_H ^R, ΔR_V ^U, ΔR_V ^D 이 B 픽셀의 컬러 차이 값들 ΔB_H ^L, ΔB_H ^R, ΔB_V ^U, ΔB_V ^D 로 각각 바뀌고, 상기 수학식 24 내지 27 중 R'_p,q 가 수학식 24 및 25에서 B_p,q로 상기 수학식 26 및 27에서 B'_p,q 로 바뀐다. 도 4c 및 4d에 도시된 바와 같이, 센터 픽셀에 따라 좌, 우, 상, 하 방향이 각각 다르게 정의된다.

조정부(140)는 보간된 픽셀값에 알고 있는 픽셀의 고주파 성분값을 더함으로써 보간된 픽셀값을 조정한다. 조정부(140)는 이미지 보간 장치(100)에 선택적으로 포함될 수 있다.

본 발명의 일 실시 예에서, 디모자이싱된 이미지는 조정 처리에 의해 강화된다. 디모자이싱된 이미지, 예를 들면 R', G', B'는 지퍼 아티팩트(zipper artifact), 블러링(blurring), 잘못된 컬러(false color)와 같은 눈에 뛰는 아티팩트들을 포함할 수 있으며, 이러한 아티팩트들은 주로 고주파 영역에서 나타난다. 따라서, 조정부(140)는 디모자이싱된 이미지는 R/G/B 채널의 채널간 상관을 가진 고주파 컴포넌트를 이용해서 조정한다.

예를 들면, G 픽셀은 R 또는 B 픽셀의 고주파 성분을 추가함으로써 업데이트되는데, 이는 CFA 패턴에서 알려진 픽셀 값이다. 예를 들면, R 픽셀이 5×5 베이어 CFA 패턴의 센터인 도 1a에서, G/B 컴포넌트들이 조정된다. 조정된 G 컴포넌트,

는 다음 수학식 28 및 29와 같다.

여기서, G'_i,j 는 적응적 보간 단계에서 (i,j)에서의 보간된 G 픽셀을 나타내고, R^h _i,j 는 R 채널의 고주파 성분이고, R^l _i,j 는 검출된 수평 또는 수직 에지 방향을 따라 3탭 1-D 필터[1/3, 1/3, 1/3]에 의해 필터링된 저주파 성분을 의미한다. 유사하게, B 픽셀은 상기 수학식 28 및 29에서

를

로, G'_i,j를 B'_i,j로 대체하고, 동일하게 조정할 수 있다. 예를 들면 5×5 베이어 CFA 패턴의 센터가 각각 B와 G 픽셀들인 도 1b 및 1c에서, R/G 및 R/B 컴포넌트들이 유사한 방식으로 조정된다. 이러한 조정 단계를 수행한 후에, 조정부(140)는 디모자이싱된 이미지, 즉

,

를 출력한다.

도 5a 내지 도 5h는 본 발명의 일 실시 예에 따라 보간된 이미지와 종래의 다른 디모자이싱 알고리즘들에 따라 보간된 이미지를 시각적 품질의 측면에서 비교하기 위한 도면이다.

도 5a는 원본 이미지이고, 도 5b 내지 5d는 종래의 디모자이싱 알고리즘에 따라 디모자이싱된 이미지들이고, 도 5e는 본 발명의 일 실시 예에 따라 디모자이 싱된 이미지이다.

도면들로부터 직관적으로 알 수 있듯이, 도 5b 내지 5d의 이미지에서는 보간에 의해 디모자이싱된 컬러 에지가 블러링되거나, 수직 컬러 에지선을 따라 지퍼 효과가 나타난다. 도 5e에 도시된 디모자이싱된 이미지는 지퍼 효과가 나타나지 않으며 만족할 만한 결과를 도시하고 있다.

도 6a 내지 6c는 본 발명의 일 실시 예에 따라 보간된 이미지와 종래의 다른 디모자이싱 알고리즘들에 따라 보간된 이미지를 픽셀 강도 프로파일 측면에서 비교하기 위한 도면이다.

도 6a 내지 6c는 도 5a의 테스트 이미지에서 50개의 수평선을 따라 R, G, B 채널들의 1차원 강도 프로파일을 도시한다. 컬러 에지는 2개의 구별되는 컬러들(R과 B, G는 0) 사이의 샤프 경계이다. 보간의 방향을 결정하기 위해, 본 발명의 일 실시 예는 CFA 이미지로부터 직접 수평 및 수직 DAIDs를 계산한다. 3가지 컬러 컴포넌트, R/G/B는 DAIDs(D_H, D_V)를 고려하여 검출한 수평 및 수직 방향을 따라 보간된다. 본 발명의 일 실시 예에 따른 이미지 보간 방법은 결과 이미지에서의 샤프 컬러 에지는 블러링 및 지퍼 아티팩트 없이 보존된다.

또한, 본 발명의 일 실시 예에 따른 이미지 보간은 PSNR(Peak Signal and Noise Ratio), SSIM(Structual Similarity)가 다른 종래의 알고리즘보다 크고, 시각적 품질이 뛰어나다. 특히, 다수의 컬러 에지들을 가진 이미지들에 대한 제안한 방법의 PSNR은 다른 종래의 디모자이싱 방법들에 비하여 더 큰 값을 가진다. 또한, 컬러 샤프 에지들(color sharp edges)과 자연 배경(natural backgoround)을 가진 이미지들에 대한 SSIM은 다른 종래의 디모자이싱 방법들보다 더 크다.

도 7은 본 발명의 다른 실시 예에 따른 CFA 패턴의 특성을 이용한 이미지 보간 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 단계 700에서, 컬러 필터 어레이 이미지를 입력한다. 여기서, 이미지는 R,G,B의 일정한 배열로 이루어진 디모자이싱되기 전의 이미지이다. 단계 702에서, 수평 및 수직 방향의 DAID(D_H, D_V)값을 이용하여 에지 방향을 검출한다. 단계 704에서, 가중치를 계산한다. 단계 706에서, 단계 702에서 검출한 에지 방향에 따라 단계 704에서 계산한 가중치와 컬러 차이 값들을 이용해서 미지의 픽셀값을 보간한다. 단계 706에서, 각각의 픽셀의 고주파 성분을 이용해서 보간된 픽셀값을 조정한다.

본 발명의 바람직한 실시 예에서, CFA 패턴의 특성을 이용한 이미지 보간 방법 및 장치를 제공한다. 즉, 에지 방향과 방향 가중치가 DAIDs를 이용하여 CFA 이미지로부터 직접 계산된다. 다수의 다양한 이미지들을 이용한 실험 결과는 PSNR, SSIM 및 시각적 품질의 측면에서, 지퍼 효과와 컬러 아티팩트에 대한 효과적인 디모자이싱 방법이라는 것을 알 수 있다.

이상 본 발명의 바람직한 실시 예에서는 5×5 베이어 CFA 패턴을 가지고 설명하였으나, 5×5 픽셀의 숫자에 한정되지 않으며, 그 이상의 픽셀들을 이용해서도 이미지 보간을 수행할 수 있다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1a 내지 1c는 각각 R, B, G 픽셀이 센터(i,j) 픽셀인 5×5 베이어 CFA 패턴을 도시한다.

도 3은 미지의 픽셀을 보간하기 위해, CFA 패턴에서 컬러 차이 값을 계산하는 방법을 설명하기 위한 도면이다.

도 4a 내지 4d는 미지의 픽셀을 보간하기 위해, CFA 패턴에서 컬러 차이 값을 계산하는 방법을 설명하기 위한 도면이다.

도 5a 내지 도 5e는 본 발명의 일 실시 예에 따라 보간된 이미지와 종래의 다른 디모자이싱 알고리즘들에 따라 보간된 이미지를 시각적 품질의 측면에서 비교하기 위한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 이미지 보간 장치 110: 에지 방향 검출부

120: 가중치 계산부 130: 보간부

140: 조정부

Claims

컬러 필터 어레이에 배열된 R,G,B 픽셀들의 패턴 특성에 따라 중심 픽셀을 기준으로 좌,우,상,하 방향의 절대 채널간 차이값들을 계산하여 에지 방향을 검출하는 단계;

상기 R,G,B 픽셀들의 패턴 특성에 따라 좌,우,상,하 방향의 방향성 가중치를 각각 계산하는 단계; 및

상기 검출한 에지 방향에 따라 상기 R,G,B 픽셀들로부터 좌,우,상,하 방향의 컬러 차이값 및 상기 계산한 방향성 가중치를 이용하여 미지의 픽셀을 보간하는 단계를 포함하고,

상기 절대 채널간 차이값은 중심 화소의 일 측상에 제1 채널의 컬러 강도 값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값에서, 중심 화소의 반대 측상의 제1 채널 화소의 컬러 강도값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값의 감산하여 계산되는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 1 항에 있어서,

상기 절대 채널간 차이값들은,

좌,우,상,하 각각의 방향으로 이웃하는 픽셀값들의 차이값들인 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 2 항에 있어서,

상기 검출 단계는,

상기 좌,우,상,하 방향의 절대 채널간 차이값들로부터 상기 좌,우 방향의 차 이값인 수평 차이(D_H) 및 상기 상,하 방향의 차이값인 수직 차이(D_V)를 각각 계산하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 3 항에 있어서,

상기 검출 단계는,

컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우,

상기 수평 차이(D_H)와 수직 차이(D_V)는 다음 수학식 4 및 5를 이용하여 계산하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.

[수학식 4]

[수학식 5]

(여기서, R_p.q 와 G_p,q 는 각각 R 및 G 픽셀의 (p,q)에서의 컬러 강도 값이고, D_H ^L, D_H ^R, D_V ^U, D_V ^D 는 각각 좌,우,상,하에서의 절대 채널간 차이값임)
제 4 항에 있어서,

상기 보간 단계는,

컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우, 미지의 픽셀 G는 다음 수학식 6을 이용하여 보간하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.

[수학식 6]

(여기서, G'_i,j는 보간된 G 픽셀값이고, ΔG_H ^L, ΔG_H ^R, ΔG_V ^U, ΔG_V ^D 는 각각 좌,우,상,하 방향의 컬러 차이 값들이고, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌,우,상,하 방향의 방향성 가중치들임)
제 3 항에 있어서,

상기 보간 단계는,

미지의 픽셀 중 G 픽셀을 보간한 다음, 보간한 G 픽셀값(G')을 기초로 미지의 나머지 픽셀값을 보간하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 6 항에 있어서,

상기 보간 단계는,

컬러 필터 어레이 패턴의 중심 픽셀이 B_i,j인 경우, 미지의 R 픽셀은 다음 수학식 15에 따라 보간되는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.

[수학식 15]

(여기서, R'_i,j 및 G'_i,j 는 각각 보간된 픽셀값들이고, ΔR_H ^L, ΔR_H ^R, ΔR_V ^U, ΔR_V ^D 는 각각 좌, 우, 상, 하 방향의 컬러 차이 값들이고,
,
,
,
이고, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌, 우, 상, 하 방향의 방향성 가중치들임)
제 7 항에 있어서,

상기 컬러 필터 어레이 패턴의 중심 픽셀이 G_i,j인 경우, 상기 수학식 15에서, 좌, 우, 상, 하 방향의 컬러 차이 값들은 각각
,
,
,
인 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 1 항에 있어서,

보간된 픽셀값에 알고 있는 픽셀의 고주파 성분값을 더함으로써 보간된 픽셀값을 조정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
컬러 필터 어레이에 배열된 R,G,B 픽셀들의 패턴 특성에 따라 중심 픽셀을 기준으로 좌,우,상,하 방향의 절대 채널간 차이값들을 계산하여 에지 방향을 검출하는 에지 방향 검출부;

상기 R,G,B 픽셀들의 패턴 특성에 따라 좌,우,상,하 방향의 방향성 가중치를 계산하는 가중치 계산부; 및

상기 검출한 에지 방향에 따라 상기 R,G,B 픽셀들로부터 좌,우,상,하 방향의 컬러 차이값 및 상기 계산한 방향성 가중치를 이용하여 미지의 픽셀을 보간하는 보간부를 포함하고,

상기 절대 채널간 차이값은 중심 화소의 일 측상에 제1 채널의 컬러 강도 값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값에서, 중심 화소의 반대 측상의 제1 채널 화소의 컬러 강도값과 제2 컬러 채널의 이웃하는 화소의 컬러 강도 값의 차이의 절대값의 감산하여 계산되는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.
제 11 항에 있어서,

상기 절대 채널간 차이값들은,

좌,우,상,하 각각의 방향으로 이웃하는 픽셀값들의 차이값들인 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.
제 12 항에 있어서,

상기 에지 방향 검출부는,

상기 좌,우,상,하 방향의 절대 채널간 차이값들로부터 상기 좌,우 방향의 차이값인 수평 차이(D_H) 및 상기 상,하 방향의 차이값인 수직 차이(D_V)를 각각 계산하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.
제 13 항에 있어서,

상기 에지 방향 검출부는,

컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우,

상기 수평 차이(D_H)와 수직 차이(D_V)는 다음 수학식 4 및 5를 이용하여 계산 하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.

[수학식 4]

[수학식 5]

(여기서, R_p.q 와 G_p,q 는 각각 R 및 G 픽셀의 (p,q)에서의 컬러 강도 값이고, D_H ^L, D_H ^R, D_V ^U, D_V ^D 는 각각 좌,우,상,하에서의 절대 채널간 차이값임)
제 14 항에 있어서,

상기 보간부는,

컬러 필터 어레이 패턴의 중심 픽셀이 R_i,j인 경우, 미지의 픽셀 G는 다음 수학식 6을 이용하여 보간하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.

[수학식 6]

(여기서, G'_i,j는 보간된 G 픽셀값이고, ΔG_H ^L, ΔG_H ^R, ΔG_V ^U, ΔG_V ^D 는 각각 좌,우,상,하 방향의 컬러 차이 값들이고, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌,우,상,하 방향의 방향성 가중치들임)
제 13 항에 있어서,

상기 보간부는,

미지의 픽셀 중 G 픽셀을 보간한 다음, 보간한 G 픽셀값(G')을 기초로 미지의 나머지 픽셀값을 보간하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.
제 16 항에 있어서,

상기 보간부는,

컬러 필터 어레이 패턴의 중심 픽셀이 B_i,j인 경우, 미지의 R 픽셀은 다음 수학식 15에 따라 보간하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.

[수학식 15]

(여기서, R'_i,j 및 G'_i,j 는 각각 보간된 픽셀값들이고, ΔR_H ^L, ΔR_H ^R, ΔR_V ^U, ΔR_V ^D 는 각각 좌, 우, 상, 하 방향의 컬러 차이 값들이고,
,
,
,
이고, γ_H ^L, γ_H ^R, γ_V ^U, γ_V ^D 는 각각 좌, 우, 상, 하 방향의 방향성 가중치들임)
제 17 항에 있어서,

상기 컬러 필터 어레이 패턴의 중심 픽셀이 G_i,j인 경우, 상기 수학식 15에서, 좌, 우, 상, 하 방향의 컬러 차이 값들은 각각
,
,
,
인 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.
제 11 항에 있어서,

보간된 픽셀값에 알고 있는 픽셀의 고주파 성분값을 더함으로써 보간된 픽셀값을 조정하는 조정부를 더 포함하는 것을 특징으로 하는 컬러 필터 어레이 패턴의 특성을 이용한 이미지 보간 장치.