KR20210018136A

KR20210018136A - 영상 처리 방법 및 장치

Info

Publication number: KR20210018136A
Application number: KR1020200098220A
Authority: KR
Inventors: 알렉세이 미카일로비치 그루즈데브; 세르게이 스타니슬라보비치 자발리신; 에브게니 안드리비치 도로코브; 키릴 빅토로비치 레베데프; 일리야 바실리예비치 쿠릴린
Original assignee: 삼성전자주식회사
Priority date: 2019-08-09
Filing date: 2020-08-05
Publication date: 2021-02-17
Also published as: RU2712436C1; US11481873B2; US20210042881A1

Abstract

본 개시는 RCCB (Red-Clear-Clear-Blue) 컬러 필터 어레이를 이용하여 획득된 영상 처리에 관한 것이다. RCCB 필터 모자이크를 갖는 포토센서들의 어레이를 포함하는 영상 캡쳐부에 의하여 획득된 RCCB 영상의 처리를 위한 영상 처리 방법은 RCCB 영상을 보간하여 희박한 C-채널로부터 밀집한 C-채널 데이터 데이터를 획득하는 단계, 및 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R-채널 및 B-채널을 획득하여 RGB 영상을 획득하는 단계, 및 가이드 영상을 이용하여 R-채널 및 B-채널을 필터링하는 단계를 포함한다. 저조도 환경에서 획득되는 영상 품질을 향상시키면서도, 영상 처리 장비에서의 계산 부담 및 처리 시간이 감소될 수 있다.

Description

영상 처리 방법 및 장치{Method and apparatus for image processing}

본 발명은 영상 처리에 관한 것으로, 구체적으로는 RCCB(Red-Clear-Clear-Blue) 컬러 필터 어레이를 이용하여 획득된 영상의 처리에 관한 것이다.

현재, 영상 캡쳐 장치들(포토 및 비디오 카메라, 스캐너 등)은 특정 파장의 빛을 전달하여 컬러 영상을 캡쳐하고 구성하는 컬러 필터 어레이(Color Filter Array:CFA) 또는 컬러 필터 모자이크(Color filter Mosaic:CFM)에 의하여 커버되는 포토디텍터 어레이(포토 센서)를 이용한다. 전형적인 포토센서들은 가시 대역의 스펙트럼에서 모든 컬러들에 대략적으로 동등하게 민감하며, 이로 인해서 컬러 정보를 분리할 수 없기 때문에, 컬러 필터들이 필요하다. 가장 일반적인 컬러 필터들 중 하나는 베이어(Bayer) 필터이다. 베이어 필터는 특정 순서로 배열된 25% 빨강 성분, 25% 파랑 성분 및 50% 녹색 성분을 포함하며, RGGB (Red-Green-Green-Blue) 필터 어레이로도 불리운다. 컬러 필터들 때문에, 포토디텍터의 각 픽셀에서는 영상 정보의 오직 1/3만이 픽업되며, 2/3의 영상 정보는 컬러 필터에 의하여 컷오프된다. 포토디텍터의 각 픽셀에서 컷오프된 나머지 컬러 성분들을 획득하기 위하여, 주변 픽셀에서 획득된 영상 정보가 이용된다. 표준 컬러 공간들 중 하나에서 컬러 영상을 획득하기 위하여, 디베이어라이제이션(debayerization) 또는 디모자이싱(demosaicing) 이라 불리는 프로세스가 이용된다. 디베이어라이제이션(debayerization) 또는 디모자이싱(demosaicing) 프로세스는 원본 베이어 데이터로부터 픽셀별 컬러를 보간하는 과정으로, 각 픽셀에서 컬러 필터에 의하여 획득되지 못한 컬러 정보를 획득하는 과정이다.

그러나, 저조도(low light) 조건에서, 각 컬러 필터는 신호 스펙트럼의 중요한 부분(2/3)을 컷오프하기 때문에, 포토디텍터에 의하여 수신되는 저신호에너지를 발생시키므로, 베이어 필터의 이용은 충분히 효율적이지 못하다. 그 결과, 복원된 컬러 영상은 저화질 및 높은 노이즈를 갖는다.

저조도 조건에서의 상술한 단점들을 제거하기 위하여, RCCB 필터 (Red-Clear-Clear-Blue filter)가 이용될 수 있다. RCCB 필터는 베이어 필터와 유사하지만, 베이어 필터에서 이용되는 녹색 컬러 필터들 대신에, RCCB 필터는 신호의 전체 스펙트럼의 대부분을 통과, 즉 어떠한 컬러 성분 광선도 컷오프되지 않는 투명한(clear) 성분들을 이용한다. 따라서, RCCB 필터는 저조도 조건에서 더 많은 에너지가 포토디렉터로 들어가도록 도울 수 있다. 그러나, G-채널(Green channel) 정보의 손실로 인해서, 컬러 영상을 복원하기 위하여 포토디텍터 어레이에 의하여 획득된 정보의 부가적인 처리가 요구된다. 또한, C-채널(Clear channel)의 존재로 인해서, RCCB 필터를 갖는 매트릭스는 베이어 필터를 갖는 매트릭스보다 더 많은 방사 에너지를 픽업하기 때문에, 충분/과다한 라이트 조건하에서 C-채널은 과다노출(포화)될 수 있다.

따라서, 저조도 환경에서 일반적인 RGGB 필터를 구비한 매트릭스와 비교하여, RCCB 필터를 구비한 매트릭스는 더 높은 신호대 잡음비(signal-to-noise ratio)를 전달하며, 자율 주행, 비디오 감시, 로보틱스, 휴면-컴퓨터 상호작용 등과 같은 분야들에서 매우 도움이 될 수 있다. 이러한 경우, RCCB 영상은 일반적인 디모자이싱(demosaicing) 기술들도 처리될 수 있지만, 적절한 장면(scene) 컬러들의 복원을 위해서 부가적인 조치들이 요구된다. 현재 디모자이싱 기술들은 장비 계산 성능과 영상 복원 품질 사이에 타협한다. 그 결과, 스마트폰, 태블릿 등과 같은 저전력 SoC(System-on-Chip) 기반 장비에서 종래의 디모자이크 알고리즘은 실시간 영상 고품질 처리가 부족하다. 또한, 종래의 디모자이싱 기술들은 충분한 조도 환경에서 C-채널 포화(과다노출) 문제를 종종 무시하며, 종래의 포화 보상 방법은 큰 과다 노출 영상 영역 또는 2개의 과다-포화된 컬러 채널들이 취약하다,

종래 디모자이싱 기술들은 다음의 사항들을 포함하는 다수의 단점들을 갖는다:

- 실시간 성능(높은 프로세싱 속도) 및 높은 영상 품질을 동시에 제공하는데 불능

- 에지 및 복잡한 텍스쳐 부근에서 컬러 및 구조적인 결함들

- 과다 노출된 영역 주변에서의 컬러 결함

- 색채 잡음(chromatic noise)

따라서, 높은 계산 성능을 요구하지 않고, 서로 다른 조도 환경에서 고품질의 복원 컬러 영상을 제공하는 캡쳐 영상의 실시간 처리를 위한 간단한 방법이 요구된다.

본 개시의 실시예들에 따르면, RCCB 필터에 의하여 형성된 원본 영상으로부터 풀컬러 RGB 영상 복원을 위한 알고리즘이 제안된다.

본 개시의 일 실시예에 따르면, 원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득하는 단계; 상기 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하는 단계; 및 가이드 영상을 이용하여 상기 R-채널 및 B-채널을 필터링함으로써 RGB 영상을 획득하는 단계를 포함하며, 상기 밀집한 C-채널 데이터를 획득하는 단계는, 상기 희박한 C-채널 데이터 및 상기 원본 RCCB 영상을 이용하여 레지듀얼 C-채널을 획득하고, 이전에 획득된 데이터에 기초하여 상기 C-채널과 상기 R-채널 사이의 차이 및 상기 C-채널과 상기 B-채널 사이의 차이를 획득하고, 상기 원본 RCCB 영상과 상기 C-채널과 다른 채널 사이의 차이에 기초하여 상기 밀집한 C-채널 데이터를 획득하는 단계를 포함하는 영상 처리 방법이 개시된다.

본 개시의 다른 실시예에 따르면, 원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득하는 보간부; 및 상기 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하고, 가이드 영상을 이용하여 상기 밀집한 R-채널 및 B-채널을 필터링하여 RGB 영상을 획득하는 색채 필터링부를 포함하며, 상기 보간부는 상기 희박한 C-채널 데이터 및 상기 원본 RCCB 영상을 이용하여 레지듀얼 C-채널을 획득하고, 이전에 획득된 데이터에 기초하여 상기 C-채널과 상기 R-채널 사이의 차이 및 상기 C-채널과 상기 B-채널 사이의 차이를 획득하고, 상기 원본 RCCB 영상과 상기 C-채널과 다른 채널 사이의 차이에 기초하여 상기 밀집한 C-채널 데이터를 획득하는 영상 처리 장치가 개시된다.

본 발명은 SoC 플랫폼과 같은 저전력 장비에서 풀컬러 고품질 영상 및 컬러 채널 포화 보상을 위하여 캡쳐된 RCCB 영상의 실시간 처리를 제공한다.

도 1은 본 개시의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2a는 본 개시의 일 실시예에 따른 영상 캡쳐부를 도시한다.
도 2b는 RCCB 영상의 희박한 채널 및 밀집한 채널을 도시한다.
도 3a는 본 개시의 일 실시예에 따른 영상 처리 방법을 도시한다.
도 3b는 본 개시의 일 실시예에 따른 영상 처리 방법을 구체적으로 도시한다.
도 4는 캡쳐된 영상에서 포화 보상 프로세스를 도시한다.
도 5는 다운스케일링된 RCB 영상을 구성하는 프로세스를 도시한다.
도 6은 과노출(overexposed) 영역에서 픽셀값의 단계별 복원의 예시적 프로세스의 단계를 도시한다.
도 7은 단계 S300에서 수행되는 고속 보간 프로세스를 개념적으로 도시한다.
도 8은 단계 S300에서 수행되는 프로세스의 수학적인 표현을 도시한다.
도 9는 단계 S304에서 수행되는 가이드된 필터링 프로세스를 도시한다.
도 10은 단계 S400에서 수행되는 색채 여과 프로세스를 도시한다.
도 11는 단계 S400에서 수행되는 처리 과정의 수학적 표현을 도시한다.

실시예들은 이하에 기재된 내용에 한정되지 않으며, 발명의 다른 실시예들은 본 발명의 개시 범위를 벗어나지 않고 종래 기술 및 상세한 설명에 기재된 내용에 기초하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.

단수로 표현된 구성 요소는 다르게 구체화되지 않는 한 복수 개의 구성 요소들을 제외하는 것은 아니다.

구성 요소들의 기능적 연결은 이러한 구성 요소들 서로 간의 올바른 상호 작용 및 구성 요소들의 하나 또는 다른 기능들의 구현을 보장하는 연결로 이해되어야 한다. 기능적 연결의 구체적인 예시들은 정보 변경의 가능성을 위한 연결, 전류 전송의 가능성을 위한 연결, 기계적 움직임의 전송 가능성을 위한 연결, 빛, 소리, 전자기 또는 기계적 진동 등의 전송 가능성을 위한 연결일 수 있다. 기능적 연결의 구체적인 유형은 언급된 구성 요소들의 상호 작용의 성질에 의하여 결정될 수 있으며, 다르게 구체화되지 않는 한, 기술 분야에서 잘 알려진 원칙들을 이용하는 잘 알려진 수단들에 의하여 제공된다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 영상 처리 장치(100)는 보간부(110) 및 색채필터링부(120)를 포함한다. 보간부(110)는 원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득한다. 색채필터링부(120)는 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하고, 가이드 영상을 이용하여 밀집한 R-채널 및 B-채널을 필터링하여 RGB 영상을 획득한다.

영상 처리 장치(100)는 입력 영상 데이터에서 포화된 픽셀의 검출 및 포화 보상을 위한 포화 보상부(130)를 더 포함할 수 있다. 또한, 영상 처리 장치(100)는 화이트 밸런스 복원 및/또는 톤 매핑을 위한 부가 영상 처리부(140)를 더 포함할 수 있다. 영상 처리 장치(100)로 입력되는 RCCB 영상은 영상 처리 장치(100)에 포함되거나 외부에 위치한 영상 캡쳐부(10)에 의하여 획득된다. 영상 캡쳐부(10)는 RCCB 필터들의 모자이크를 갖는 포토센서들의 배열을 포함한다. 도 1의 영상 처리 장치(100)의 구체적인 동작은 후술한다.

도 2a는 본 개시의 일 실시예에 따른 영상 캡쳐부(10)를 도시한다. 도 2b는 RCCB 영상의 희박한 채널 및 밀집한 채널을 도시한다.

도 2a를 참조하면, 영상 캡쳐부(10)는 포토센서들(220)과 포토센서들 위에 위치하는 모자이크 형태의 R(red) 필터, B(blue) 필터 및 C(clear) 필터들(210)을 포함한다. 원본 RCCB 영상에서 하나의 포토 센서(211)는 R(red) 필터, B(blue) 필터 및 C(clear) 필터 중 하나에 의하여 커버되기 때문에, 원본 RCCB 영상의 하나의 픽셀은 R-채널 데이터, B-채널 데이터 및 C-채널 데이터 중 하나의 채널 데이터만을 포함한다. 이와 같이, RCCB 필터를 갖는 매트릭스의 모든 픽셀들의 강도가, 해당 채널에 대응되는 픽셀들을 제외하고, 0과 동일한 영상의 컬러 채널 데이터는 희박한(sparse) 채널로 정의된다. 기본적으로, 보간 이전에 원본 RCCB 영상은 모두 희박한 C-채널, 희박한 R-채널, 희박한 B-채널을 갖는다. 도 2b를 참조하면, 원본 RCCB 영상에서 C 필터에 의하여 커버되는 픽셀들에 의해서만 C-채널 데이터가 획득된다. 희박한 C-채널은 C 필터가 위치한 픽셀에서만 C-채널 데이터가 획득되고, R 필터 또는 B 필터가 위치한 픽셀에서는 C-채널 데이터가 획득되지 않은 컬러 채널 데이터의 표현이다. 즉, 희박한 C-채널은 C 필터가 위치한 픽셀에서만 C-채널 데이터가 획득되고, R 필터 또는 B 필터가 위치한 픽셀에서는 C-채널 데이터가 획득되지 않은 컬러 채널 데이터의 표현이다.

밀집한(dense) 채널은 RCCB 영상에서 알려지지 않은 매트릭스 픽셀들의 컬러 채널 강도의 값들이 복원되거나/계산되는 영상의 컬러 채널 데이터의 표현이다. 각 픽셀에서 획득되지 못한 다른 채널의 데이터는 현재 픽셀 및 주변 픽셀의 데이터를 이용하여 계산될 수 있다.

이하, 본 개시의 영상 처리 방법을 구체적으로 설명한다.

도 3a은 본 개시의 일 실시예에 따른 영상 처리 방법을 도시한다. 단계S10에서, 보간부(110)는 원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득한다. 보간부(110)는 희박한 C-채널 데이터 및 원본 RCCB 영상을 이용하여 레지듀얼 C-채널을 획득하고, 이전에 획득된 데이터에 기초하여 C-채널과 R-채널 사이의 차이 및 C-채널과 B-채널 사이의 차이를 획득하고, 원본 RCCB 영상과 상기 C-채널과 다른 채널 사이의 차이에 기초하여 상기 밀집한 C-채널 데이터를 획득할 수 있다. 단계 S20에서, 색채 필터링부(120)는 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하며, 단계 S30에서, 가이드 영상을 이용하여 상기 R-채널 및 B-채널을 필터링함으로써 RGB 영상을 획득한다.

도 3b는 본 개시의 일 실시예에 따른 영상 처리 방법을 구체적으로 도시한다.

도 3b를 참조하면, 단계 S100에서 컬러 필터들의 모자이크를 갖는 포토센서들의 배열을 포함하는 영상 캡쳐부(10)에 의한 영상 캡쳐 과정이 수행될 수 있다. 일 실시예에서, RCCB 필터가 이용된다. RCCB의 캡쳐된 원본 영상은 포화 보상부(140)에 의하여 수신되고, 포화 보상부(140)는 과노출된 영역에 대한 포화 보상 (단계 S200)을 수행할 수 있다. 포화 보상 과정에 대해서는 후술된다.

RCCB 영상은 보간부(110)에 의하여 수신되며, 단계 S300에서, 희박한(sparse) C-채널로부터 밀집한(dense) C-채널이 복원된다. 보간부(110)에 입력되는 RCCB 영상은 원본 RCCB 영상이거나, 원본 RCCB 영상에 포화된 영역이 존재하는 경우 후술되는 저포화(desaturation) 처리 과정이 수행된 저포화된 RCCB 영상일 수 있다.단계 S300은 이하에서 보다 구체적으로 설명될 것이다.

단계 S400은 밀집한 C-채널 데이터 및 원본 RCCB 영상에 기초한 색채 여과(chromatic filtration)를 통해 RGB 영상을 획득하는 과정을 포함한다. 단계 S400은 이하에서 보다 구체적으로 설명될 것이다.

단계 S500은 획득된 RGB 영상의 최종적인 처리 과정을 포함한다.

단계 S200~S500의 영상 처리 과정은 단일 디바이스에서 영상 캡쳐부(10)에 통합된 영상 처리 장치(100)에서 수행되거나, 영상 캡쳐부(10)와 이격되어, 예를 들어 원격 컴퓨터, 서버 또는 클라우드 서비스에서 구현된 영상 처리 장치(100)에서 수행될 수 있다. 즉, 영상 캡쳐부(10)와 영상 처리 장치(100)는 물리적으로 하나의 장치를 통해 구현되거나, 서로 이격되어 구현될 수 잇다.

도 3b에 따른, 단계 S200에서 수행되는 캡쳐된 영상에서의 포화 보상 과정은 도 4에서 보다 구체적으로 도시된다.

단계 S100에서 캡쳐된 원본 영상은 포화 보상부(130)에 의하여 수신된다. 단계 S202에서, 포화 보상부(130)는 캡쳐된 영상에서 과노출된 영역을 검출하고 과노출된 영역의 마스크를 생성한다. 이를 위해서, 캡쳐된 RCCB 영상으로부터 다운스케일링된 RCB 영상이 구성된다. 다운스케일링된 RCB 영상을 생성하는 방식은, 각각 RCCB 픽셀들을 포함하는 2x2 픽셀 그룹들의 3개의 컬럼과 3개의 열들로 구성된 6x6 픽셀 매트릭스가 예시적인 경우로서 도 5에 도시된다. 원본 영상인 6x6 픽셀 매트릭스(310)의 각 2x2 픽셀 그룹으로부터 픽셀값들을 샘플링하여 R-채널, C-채널, B-채널들 각각에 대하여 3개의 3x3 픽셀 영상들(320,330,340)이 6x6 픽셀 매트릭스(310)로부터 생성된다. 유사하게, 예를 들어 1024x1024의 해상도를 갖는 입력 RCCB 영상으로부터 R-채널, C-채널, B-채널들 각각에 대하여 3개의 512x512 픽셀 영상들이 생성된다.

다운스케일링된 RCB 영상을 구성할 때, R 채널 및 B 채널의 픽셀값들은 원본 RCCB 영상의 R 채널 및 B 채널의 대응되는 픽셀들과 일대일 대응 관계를 갖도록 설정된다. 예를 들어, 도 5에서, 하나의 2x2 픽셀 그룹(311)에는 하나의 R-채널의 픽셀, 하나의 B-채널의 픽셀 및 2개의 C-채널의 픽셀을 포함하고 있으므로, 2x2 픽셀 그룹(311)에 포함된 R-채널의 픽셀은 다운스케일링된 RCB 영상의 R 채널(320)의 픽셀과 일대일로 대응되며, 2x2 픽셀 그룹(311)에 포함된 B-채널의 픽셀 역시 다운스케일링된 RCB 영상의 B-채널(330)의 픽셀과 일대일로 대응된다. 그리고 다운스케일링된 RCB 영상의 C-채널(340)의 픽셀값은 원본 RCCB 영상의 하나의 RCCB 필터에 의하여 커버되는, C-채널의 두 개의 인접한 픽셀들의 평균값으로 설정된다:

은 RCCB 영상의 C 채널의 제 1 픽셀값이며,

은 RCCB 영상의 C 채널의 제 2 픽셀값이다. 예를 들어, 하나의 2x2 픽셀 그룹(311)에 포함된 C-채널의 2개의 픽셀 C1 및 C2의 픽셀의 평균값이 다운스케일링된 C-채널(340)의 픽셀 C1'로 설정된다.

영상에서 과노출된 영역을 검출하기 위하여, 다음의 조건:

, 여기서

이 적용된다.

는 k번째 과노출 영역, M은 영상에서 과노출된 영역의 개수, k번째 영역은

개의 픽셀들을 포함하며,

k번째 영역에서 i번째 픽셀이다. 만약

픽셀에서의 강도값(intensity value)이 영상 캡쳐부의 매트릭스의 최대 허용 양자화 Q 값의 0.92를 초과하면, 해당 픽셀은 손상된 것으로 결정될 수 있다. 예를 들어, 카메라에 의하여 12비트 신호가 생성된다고 가정하면, 영상 캡쳐부(10)의 매트릭스의 최대 허용 양자화 Q 값은 4095이다 (4095=2¹²-1). 대안적인 실시예에서, 카메라가 8 비트 신호를 생성하는 경우 Q=255이다 (255=2⁸-1). 이러한 경우에서, 0.92 팩터는 92% 값에 대응되며, 이 값은 손상된 픽셀값을 식별하기 위한 임계값이다. Q 값의 몇 %를 초과하는 강도값을 갖는 픽셀을 과포화된 픽셀로 판단할 지는 변경될 수 있다.

영상에서 과노출된 영역이 검출되지 않은 경우, 방법은 단계 S300으로 진행한다.

이 예시적인 실시예에서, 전술한 바와 같이, R-채널 및 B-채널과 비교하여 C-채널은 보다 유의미하게 더 많은 양의 방사 에너지를 픽업하기 때문에, 과노출은 오직 C-채널에 존재함에 유의해야 한다. 과노출 영역에서의 포화 보상을 위해서, 가이드 채널인 R-채널 (또는 B-채널) 데이터에 기초하여 C-채널에서의 신호값을 복원할 필요가 있다. 일반적으로, R-채널은 B-채널에 비하여 더 많은 에너지를 포함하고 있으며, 따라서, R-채널은 C-채널의 복원을 위한 가이드로서 취급될 수 있다. R-채널을 가이드로 만들 수 있는지 여부를 결정하기 위하여, C-채널의 복원 이전에 전술한 기준들에 따라서 R-채널의 과노출 여부가 체크된다. 만약 R-채널이 과노출되었으면, B-채널이 과노출되었는지 체크된다. 만약 B-채널이 과노출되지 않았다면, B-채널에 따라서 R-채널이 먼저 복원된다. B-채널은 좀처럼 과노출되지 않는다. 따라서, R-채널 및 B-채널 중 적어도 하나는 C-채널의 복원을 위한 가이드로서 이용될 수 있을 것이다.

단계 S204에서, 포화 보상부(130)는 다음의 수학식들:

,

에 따라서 (경계에 있는) 과노출 영역 주변의 유효한 픽셀들의 채널 비율 값들을 계산한다. 여기서

,이다.

M은 과노출 영역의 개수,

개의 픽셀들은 k번째 과노출 영역에 배열되며,

는 k번째 영역의 경계의 j번째 픽셀의 과노출 채널(C 채널)의 신호 강도,

는 k번째 영역의 경계에서 j번째 픽셀의 유효한(가이드) 채널의 신호 강도,

는 대응되는 비율,

는 k번째 영역의 경계에서 최소 채널 비율,

는 k번째 영역의 경계에서 최대 채널 비율이다.

단계 S206에서, 유효한 픽셀들에서 채널 비율의 계산된 값들은 이하에서 설명되는 바와 같이 과노출 영역 내내 전파된다.

는 k번째 영역의 i번째 과노출된 픽셀,

는

의 채널 비율을 갖는

에 인접한 n번째 픽셀(여기서, n<=4)이며, 여기서

는 유효한 영역의 픽셀, 즉, 전술한 바와 같이,

의 비율을 갖는 과노출 영역의 경계의 j번째 픽셀 또는 이전 단계에서 복원된 픽셀이다. 다음

픽셀에서의 채널 비율은 다음의 수식:

,

에 따라서 복원된다.

여기서,

,

이다.

및

는 k번째 과노출 영역의 경계에서의 채널 비율의 최소값 및 최대값이며,

는 k번째 영역에서의 i번째 픽셀의 가이드 채널의 강도이며, s 는 고려되는 주변 픽셀의 개수 (이 경우

, 즉 고려되는 i번째 픽셀의 상하좌우에 인접한 최대 4개의 픽셀),

및

는 n번째 주변 픽셀의 가이드 채널의 채널 비율 및 강도값이며,

은 n번째 주변 픽셀의 채널 비율이 합산 과정에서 갖는 가중치이며,

은 주변 픽셀들의 최소 가중치이며,

는 i번째 및 n번째 픽셀들의 강도 차이이다.

복원된 채널 비율

는

에 인접한 과노출된 픽셀들에서의 비율을 추정하는데 이용된다.

픽셀에서 계산된 채널 비율

은 다음의 수식:

,

에 따라서 과노출된 픽셀에서 과노출된 채널의 보상된 신호값을 획득하는데 이용된다

여기서,

는 k번째 영역의 i번째 픽셀의 과노출된 채널의 보상된 신호값,

는 k번째 영역의 i번째 픽셀의 가이드 채널의 신호값이다.

이러한 방식으로, 전체 과노출된 영역은 포화 보상을 위하여 처리된다. 계산된 채널 비율을 이용하여 과노출 영역에서의 픽셀값의 단계별 복원의 예시적인 프로세스의 단계들 중 하나가 도 6에 도시된다.

전술한 포화 보상 단계들은 과노출 영역에서 오직 한 개의 유효한 채널이 존재하면 과노출 영역에서 과노출 채널의 강도값을 복원할 수 있도록 한다. 특히, 이것은 과포화를 발생하는 부정확하게 선택된 카메라 노출 설정에 대한 강인함(robustness)를 증가시킨다. 전술한 단계들은 일 방향으로 수행되며, 신속하고 간단하며, 의미한 계산 성능을 요구하지 않는다. 그러므로, 본 개시에 따른 포화 보상 방법은 SoC 플랫폼 기반의 장치들에서 실시간으로 수행될 수 있다.

도 6은 과노출 영역의 경계에서 계산된 채널 비율을 이용하여 과노출 영역에서 픽셀값을 단계별로 복원하는 예시적인 프로세스의 단계들을 도시한다. 본 발명에서 과노출 픽셀의 프로세싱 순서는 과노출된 픽셀의 위치 및 과노출되지 않은 올바른 픽셀의 위치에 의하여 결정될 수 있다. 예를 들어, 과노출 픽셀의 프로세싱은 이전에 먼저 발견된 과노출 영역의 경계로부터 시작될 수 있다. 각 올바른 픽셀(4개의 주변 픽셀들)의 주변이 고려되고, 과노출된 픽셀들은 큐(queue)에 부가된다. 큐(queue)는 분류 키(sort key)를 갖는 데이터 구조이다. 큐는 손상된 영역의 경계에 의하여 초기화된다.

픽셀에 대한 채널 비율의 계산 순서를 제어하기 위하여, 데이터 배열 구조는 다음의 분류 키:

,

를 갖는 큐에 의하여 표현된다. 여기서,

는 i번째 픽셀 예측에 관여하는 주변 픽셀의 개수이다.

분류 키는 엘리먼트들이 처리되는 순서를 결정한다. 예를 들어, 다음 엘리먼트가 큐로부터 제거될 때, 가장 작은 키 값을 갖는 엘리먼트가 자동적으로 선택될 수 있다. 프로세싱은 큐가 비워질 때까지 계속된다.

일 실시예에서, 상, 하, 좌, 우에 위치한 4개의 주변 픽셀들 이상의 주변 픽셀들이 i번째 픽셀 예측에 고려되지 않는다. 즉, 현재 처리되는 i번째 픽셀 예측시 최대 상, 하, 좌, 우의 4개까지의 주변 픽셀이 이용될 수 있다. 어떤 구체적인 픽셀들이 현재 픽셀 예측에 관여될 것인지는 과노출 영역의 위치에 따라서 결정된다. 대안적인 실시예에서, 8개의 주변 픽셀들까지 이용될 수 있으며, 이는 획득 영상의 품질을 더 향상시킬 수 있지만, 처리 성능에 영향을 끼친다.

다음, 저포화된 RCCB 영상이 저포화된 RCB 영상 데이터로부터 구성된다. RCCB 영상의 R 채널 및 B 채널은 감소된 RCB 영상의 R 채널 및 B 채널로부터 동등하게 구성된다(즉, RCCB 영상으로부터 RCB 영상의 R 채널 및 B 채널이 구성되는 것과 동일한 방식). RCCB 영상의 C-채널 픽셀값들은 다음과 같이 설정된다:

여기서

,

maximum() 은 모든 픽셀들의 최대값,

는 다운스케일링된 영상에서 복원된 C-채널 픽셀값이다.

획득된 저포화된 RCCB 영상 데이터는 보간부(110)로 전송된다.

일 실시예에서, 포화 보상 단계 S200은 선택적이며 생략될 수 있다. 특히, 그러나 오로지 그런 것은 아니지만, 단계 S200은 사용자의 제어 입력, 미리 정의된 설정 및/또는 캡쳐된 영상에서 과포화의 부재를 보장하는 조건에 따라서 생략될 수 있다.

다음, 도 7 내지 도 9를 참조하여, 보간부(110)에서 희박한 C-채널로부터 밀집한 C-채널을 복원하기 위하여 수행되는 단계 S300이 기술된다. 전술한 바와 같이, 희박한 채널은 RCCB 필터를 갖는 매트릭스의 모든 픽셀들의 강도가, 이 채널에 대응되는 픽셀들을 제외하고, 0과 동일한 영상의 컬러 채널 데이터의 표현이다. 밀집한 채널은 RCCB 영상에서 알려지지 않은 매트릭스 픽셀들의 컬러 채널 강도의 값들이 복원되거나/계산되는 영상의 컬러 채널 데이터의 표현이다.

도 7은 단계 S300에서 수행되는 고속 보간 프로세스를 개략적으로 도시한다.

도 8은 단계 S300에서 수행되는 프로세싱의 수학적인 표현이다.

먼저, 단계 S302에서, C-채널의 신호값은 다음의 수식들에 따라서 수평 및 수직으로 보간된다:

,

여기서

,

는 RCCB 원본 모자이크 (영상),

는 수평으로 보간된 모자이크,

는 수직으로 보간된 모자이크이다.

다음, 단계 S304에서, C-채널에서 획득된 보간 신호값들은 가이드된 필터링(guided filtering)에서 가이드로서 이용된다. 가이드된 필터링 프로세서는 이하에서 좀 더 구체적으로 설명될 것이다. 단계 S304의 수행 결과, 스무스(smoomth) 채널을 포함하는 잠정 영상과 예측 영상이 다음의 수식들에 따라서 획득된다:

,

여기서,

수평으로 계산된 잠정 영상,

는 수직으로 계산된 잠정 영상,

는 수평으로 계산된 예측 영상,

는 수직으로 계산된 예측 영상,

는 가이드된 필터링 함수이다.

잠정 영상 및 예측 영상은 R-채널, B-채널, C-채널들로부터의 값들을 포함하는 중간 데이터이며, 스무딩(smoothing) 필터가 적용된다.

단계 S306은 다음의 수식들에 따라서 원본 RCCB 영상으로부터 계산된 잠정 영상을 감산하여 획득된 C-채널 신호의 레지듀얼 값들을 보간하는 것을 포함한다:

,

는 수평으로 계산된 레지듀얼 영상,

는 수직으로 계산된 레지듀얼 영상,

는 수평으로 계산되며 수평으로 보간된 레지듀얼 영상,

는 수직으로 계산되며, 수직으로 보간된 레지듀얼 영상이다.

다음, 단계 S308에서, 이전에 획득된 데이터에 기초하여, 다음의 수식들에 따라서 C 채널 및 R-채널, B-채널들 사이에서 컬러 차이가 수평 및 수직으로 예측된다:

,

는 C 픽셀들의 CFA(Color Filter Array) 마스크,

는 빨강 및 파랑 픽셀들의 CFA 마스크,

는 수평으로 계산된 컬러 차이,

는 수직으로 계산된 컬러차이,

는 어떤 영상 X로부터 바이너리 마스크 샘플링한 것으로, 마스크는 모자이크에서 C-채널의 픽셀들에 대응된다. 예를 들어, 마스크

는 C 위치에서 값은 1이며, 다른 R 또는 B 위치의 픽셀들에서 값은 0이다.

는 RCCB 모자이크에서 R 채널 및 B 채널의 픽셀들에 대응되는 바이너리 마스크의 샘플링이다. A[mask]=B[mask]+C[mask] 는 오직 바이너리 마스크 픽셀들(1이 있는 경우)에 대해서만 A=B+C 임을 의미한다.

,

여기서

+

는 영상의 차원과 동일한 차원을 갖는 유닛의 매트릭스이다.

는 C1 픽셀에서 C-채널과 수평으로 보간된 R-채널 사이의 차이, C2 픽셀에서 C-채널과 수평으로 보간된 B-채널 사이의 차이, R-픽셀에서 수평으로 보간된 C-채널과 R-채널의 차이, B-픽셀에서 수평으로 보간된 C-채널과 B-채널의 차이를 포함한다. 여기서 R, C1, C2, B는 2x2 픽셀그룹(311)에 포함된 RCCB 필터에 따른 픽셀들에 대응된다.

획득된 컬러 차이값은 단계 S310에서 다음의 수식에 따라서 그래디언트 기반 무임계 컬러 차이 예측(gradient based threshold free color difference estimation) 을 수행한다:

,

는 풀컬러 차이,

(Gradient Based Threshold Free) 는 그래디언트 기반 무임계 컬러 차이 예측 함수이다.

이전에 계산된

는 픽셀들에서 신호값들을 복원하는데 바로 이용될 수 있지만, 영상 품질은 충분히 높지 않을 것이다. GBTF 동작은 C1 및 C2 픽셀들에서 컬러 차이가 축적되는 가중치를 계산하고, 로컬 그래디언트를 고려함으로써 보다 정확하게 C1, C2 값들을 복원하도록 한다.

단계 S312에서, 밀집한 C-채널은 다음에 따라서 이전에 획득된 데이터에 기초하여 복원된다:

C는 복원된 밀집한 C-채널이다.

도 9는 단계 S304에서 수행되는 가이드된 필터링 프로세스를 도시한다.

무엇보다 먼저, 단계 S304에서, RCCB 원본 모자이크(영상)

및 보간된 모자이크(

)에 대해서 다음의 수식들에 따라서 라플라시안(Laplacian)이 결정된다:

,

),

는 원본 모자이크 라플라시안,

는 보간된 모자이크 라플라시안이다.

다음, 이득(gain) 성분이 다음의 수식들에 따라서 계산된다:

,

은 좌표 (i, j)을 갖는 픽셀 주변의 5x5 주변에서 평균값 샘플링 동작이며,

는 5x5 매트릭스이며,

는 매트릭스 계수, A 는

계수의 매트릭스이며, 매트릭스 차원은 영상 차원과 동일하다.

다음, DC 성분 (변위 성분(displacement component))이 수식들:

,

,에 따라서 계산된다.

여기서,

는 매트릭스 계수,

는

계수들의 매트릭스이며, 매트릭스의 차원은 영상의 차원과 동일하다.

및

계수들은 가이드된 필터링 선형 모델 파라메터들이다.

다음, 잠정 영상 및 예측 영상들은 수식들:

,

에 따라서 계산된다.

여기서

는 잠정 영상,

는 예측 영상,

는 7x5 매트릭스이며,

및

매트릭스는 다음의 구성을 갖는다:

및

및

마스크는 RCCB 필터에 따라서 컴파일되며, 따라서 MLRI 알고리즘(Minimized-Laplacian Residual Interpolation algorithm)에서와 같이, R, C1, C2, B 채널들을 개별적으로 처리하지 않고, RCCB 영상은 직접적으로 처리될 수 있다.

본 개시에 따라서 영상을 처리할 때, 도 9에 도시된 가이드된 필터링 알고리즘은 수평 방향 및 수직 방향으로 두 번 수행된다. 이것은 전술한 5x5 및 7x5 마스크들을 이용하여 달성된다. 동시에, 종래 기술로부터 알려진 MLRI 를 수행할 때는, 가이드된 필터링 알고리즘은 수평 방향으로 4번, 수직 방향으로 4번 수행되어 총 8번 수행된다. 따라서, 본 개시에 따른 영상 처리 방법은 획득 영상의 고품질을 보장하면서도, 처리 시간 및 계산 동작의 횟수를 상당히 감소시킬 수 있다.

다음, 단계 S400에서, 밀집한 C-채널 및 저포화된 RCCB 영상의 획득된 데이터에 기초하여, 색채 필터링이 수행되어 RCB 영상이 획득된다. 도 10 내지 도 11을 참조하여 단계 S400이 구체적으로 설명된다.

도 10은 단계 S400에서 수행되는 색채 여과 프로세스를 개략적으로 나타낸 것이다.

도 11은 단계 S400에서 수행되는 프로세싱의 수학적 표현을 도시한다.

색채 필터는 밀집한 R-채널 및 B-채널의 복원과 가이드 영상을 이용한 필터링을 수행한다. 색채 여과 과정에서 필터링은, 이 경밀집한 C-채널을 가이드 영상으로 이용하여 R-채널 및 B-채널을 필터링한다.

이를 위해서, 단계 S402에서, 밀집한 C-채널 데이터 및 저포화된 RCCB 영상에 기초하여 R-채널 및 B-채널 데이터는 RCB 컬러 모델로부터 YUV 컬러 모델로 다음의 수식들에 따라서 매핑된다:

,

여기서, Y는 휘도 성분, U, V는 색채 성분, R, B 및 C는 대응되는 픽셀의 R, B 및 C 채널의 신호값들이다.

YUV 컬러 모델의 이용은 휘도 및 색채 성분을 영상으로부터 분리시키고, 색채 성분에 대한 보다 정확한 필터링을 가능하게 한다.

단계 S404는 밀집한 C-채널 데이터에 기초하여 다음의 수식들에 기초하여 참조 영상을 구성하는 것을 포함한다:

,

여기서,

는 영상 경계들,

는 소벨 필터,

는 모듈 샘플링동작,

는 최대 샘플링 동작,

는 임계값,

는 미디언(median) 필터,

는 동종(homogeneous) 영역들의 마스크,

는 가이드 영상이다.

먼저, 소벨 필터를 이용하여 C-채널에서 경계가 검출되고, 임계값 thre 가 계산된다. 다음, 경계값이 thre보다 작은 C-채널의 영역들(값이 thre보다 더 크며, 원본 C-채널 값들이 그에 맞춰 저장된다)에 대해서 미디언 필터링이 적용된다.

다음, 단계 S406은 다음의 수식들에 따라서 U 채널 및 V 채널의 밀집한 픽셀값들을 획득하기 위하여, 획득된 U 채널 및 V 채널들(색채 성분들)의 값들의 이중선형(bilinear) 보간을 포함한다:

,

여기서,

는 보간된 V-채널,

는 보간된 U-채널,

는 이중 선형 보간이다.

단계 S408은 다음의 수식들에 따라서 단계 S404에서 생성된 가이드 영상에 기초하여, 획득된 밀집한 U-채널 및 V-채널의 가이드된 필터링을 포함한다:

,

여기서,

는 가이드된 필터링 동작,

,

는 밀질한 색채 성분들이다.

가이드된 필터링은 색채 성분들에서 노이즈의 감소를 발생시키며, U-채널 및 V-채널은 C-채널과 매치되게 된다.

단계 S410은 다음의 수식들에 따라서 YUV 컬러 모델로부터 RCB 컬러 모델로 역매핑 과정을 포함한다:

,

.

그리고, 다음, 단계 S412는 RGB 영상을 획득하기 위하여 다음의 수식에 따라서 RGB 컬러 모델로 매핑을 포함한다.

.

따라서, 본 개시에 따른 색채 필터링 알고리즘은 보간된 (밀집한) R 및 B 컬러 채널의 획득 및 색채 노이즈 감소를 제공한다.

대안적인 실시예에서, 전술한 영상 처리는 일반적인 베이어 필터를 갖는 영상 캡처부 매트릭스에 의하여 캡쳐된 RGGB 영상에 대해서 유사하게 수행될 수 있음에 주목할 가치가 있다.

단계 S500은 획득된 RGB 영상의 선택적인 최종 처리를 포함한다. 이러한 단계는 원본 영상의 처리 과정에서 방해된 화이트 밸런스의 복원, 및/또는 넓은 동적 범위의 강도값을 표준으로 매핑(tone mapping)하는 과정을 포함한다.

본 발명의 다른 실시예에 따르면, 프로세서에 의하여 실행될 때, 프로세서가 전술한 영상 처리 방법을 실행하도록 하는 컴퓨터 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체가 제공된다.

명백하게, 데이터, 프로그램 등의 저장과 관련될 때, 컴퓨터로 판독 가능한 기록 매체는, 읽기만 가능한 메모리, 랜덤 액세스 메모리, 레지스터, 캐쉬, 반도체 저장 장치들, 내부 하드 드라이브나 제거가능한 드라이브와 같은 자기 매체, 자기-광 미디어 및 CD롬, DVD와 같은 광미디어 뿐만 아니라 기술 분야에서 알려진 다른 저장 매체를 의미할 수 있다.

본 발명은 SOC 기반 장치들(스마트폰, 태블릿, DVR 등)에 임베드된 것들 것 포함하여, 포토 카메라, 비디오 카메라와 같은 영상 캡쳐 및 처리 장치들에 응용될 수 있다. 저조도 조건 및 과다 조도 환경 모두에서 훌륭한 품질의 영상을 획득하는 능력은, 본 발명이 비디오 감시 시스템, 자율 주행차의 영상 캡쳐부, 증강 현실 장치 등에서 이용될 때 유리할 장점을 제공할 수 있다. 게다가 본 발명은 제한된 처리 파워를 갖는 저전력 장비에서 조차도 캡쳐된 영상의 실시간 처리를 제공한다.

여기에 개시된 방법들은 전술한 방법들을 수행하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법의 단계 및/또는 동작들은 청구항의 범위를 벗어나지 않고 서로 교환될 수 있다. 다시 말해서, 단계 또는 동작의 구체적인 순서가 특정되지 않으면, 특정 단계 및/또는 동작의 순서 및/또는 이용은 청구항의 범위를 벗어나지 않고 변경될 수 있다.

응용은 도면에 도시된 구성 요소들의 구현은 특정 소프트웨어 및 하드웨어를 가리키지 않지만, 본 발명의 특징은 특정 소프트웨어 또는 하드웨어 구현에 국한되지 않음은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이며, 따라서, 기술 분야에서 알려진 어떠한 소프트웨어 및 하드웨어도 본 발명을 구현하는데 이용될 수 있다. 그래서, 하드웨어는 하나 이상의 특화된 통합 회로, 디지털 신호 프로세서, 디지털 신호 프로세싱 장치, 프로그래머블 로직 디바이스, 사용자 프로그래머블 게이터 어레이, 프로세서, 컨트롤러, 마이크로컨트롤러, 마이크로프로세서, 전자 장치 및 이 문서에 기재된 기능들을 수행하기 위하여 구성되는 다른 전자 모듈, 컴퓨터 또는 이들의 조합으로 구현될 수 있다.

예시적인 실시예들이 구체적으로 설명되고, 첨부된 도면에 도시되었으나, 다양한 다른 변경이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하기 대문에, 이러한 실시예들은 단지 예시적이며 더 넓은 본 발명을 한정하기 위한 것이 아니며, 본 발명은 도시되거나 설명된 특정 배열들이나 구조들에 제한되지 않음이 이해되어야 한다.

상세한 설명의 다양한 부분에 개시된 구현들뿐만 아니라, 다양한 종속항들에서 언급되는 특징들은 비록 조합에 대한 가능성이 명시적으로 개시되어 있지 않은 경우에도 유리한 효과를 달성하기 위하여 결합될 수 있다.

Claims

영상 처리 방법에 있어서,
원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득하는 단계;
상기 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하는 단계; 및
가이드 영상을 이용하여 상기 R-채널 및 B-채널을 필터링함으로써 RGB 영상을 획득하는 단계를 포함하며,
상기 밀집한 C-채널 데이터를 획득하는 단계는,
상기 희박한 C-채널 데이터 및 상기 원본 RCCB 영상을 이용하여 레지듀얼 C-채널을 획득하고, 이전에 획득된 데이터에 기초하여 상기 C-채널과 상기 R-채널 사이의 차이 및 상기 C-채널과 상기 B-채널 사이의 차이를 획득하고, 상기 원본 RCCB 영상과 상기 C-채널과 다른 채널 사이의 차이에 기초하여 상기 밀집한 C-채널 데이터를 획득하는 단계를 포함하는 영상 처리 방법.
제 1항에 있어서, 상기 밀집한 C-채널 데이터를 획득하는 단계는
상기 C-채널에서 신호 값을 수평 및 수직 보간을 수행하는 단계;
상기 C-채널에서 획득된 보간된 신호 값들을 가이드된 필터링에서 가이드로 이용하여 잠정 영상 및 예측 영상들을 획득하는 단계;
상기 원본 RCCB 영상으로부터 상기 잠정 영상을 감산하여 획득된 레지듀얼 C-채널 신호값들을 보간하는 단계;
이전에 획득된 데이터에 기초하여, 상기 C-채널 및 R-채널, B-채널 사이의 수평 및 수직 컬러 차이 예측을 수행하는 단계;
GBTF (gradient-based threshold free color difference estimation)를 수행하여 풀 컬러 차이를 획득하는 단계; 및
상기 원본 RCCB 영상과 상기 풀 컬러 차이를 합산하여 밀집한 C-채널을 획득하는 단계를 포함하는 영상 처리 방법.
제 1 항에 있어서, 상기 RGB 영상을 획득하는 단계는,
상기 원본 RCCB 영상 (RAW) 및 상기 보간된 영상 (
) 에 대하여 다음의 수식들:

,

)
에 따라서 라플라시안(Laplacian)을 결정하는 단계(여기서,
는 원본 모자이크 라플라시안,
는 보간된 모자이크 라플라시안);
다음의 수식들:

,

에 따라서 이득 성분을 계산하는 단계(여기서
은 좌표 (i, j)을 갖는 픽셀 주변의 5x5 주변에서 평균값 샘플링 동작이며,
는 5x5 매트릭스이며,
는 매트릭스 계수, A 는
계수의 매트릭스이며, 매트릭스 차원은 영상 차원과 동일);
DC 성분 (변위 성분)을 다음의 수식들:

,

에 따라서 계산하는 단계(여기서,
는 매트릭스 계수,
는
계수들의 매트릭스이며, 매트릭스의 차원은 영상의 차원과 동일하며,
및
계수들은 가이드된 필터링 선형 모델 파라메터들이다); 및
상기 잠정 영상 및 예측 영상들을 다음의 수식들:

,

,
에 따라서 계산하는 단계(여기서
는 잠정 영상,
는 예측 영상,
는 7x5 매트릭스이며,

및
매트릭스는 다음의 구성:

및

)을 포함하는 영상 처리 방법.
제 1 항에 있어서,
상기 원본 RCCB 영상 중 상기 C-채널의 과포화된 픽셀의 존재 여부를 판단하는 단계; 및
상기 C-채널이 과포화된 픽셀이 픽셀이 존재하는 경우, 과포화되지 않은 유효한 픽셀에서 상기 R-채널 및 상기 B-채널 중 적어도 하나의 채널과 상기 C-채널 사이의 신호 강도 비율값에 기초하여 상기 C-채널의 과포화된 픽셀에 대한 저포화(desaturation)을 수행하는 단계를 더 포함하는 영상 처리 방법.
제 4항에 있어서,
상기 C-채널의 과포화된 픽셀의 존재 여부를 판단하는 단계는
상기 원본 RCCB 영상의 R 채널 및 B 채널들의 대응되는 픽셀들과 RCB 영상의 R-채널 및 B-채널의 픽셀값들이 일대일 대응되도록 설정하며, 상기 원본 RCCB 영상의 C=채널의 두 개의 인접한 픽셀들의 평균값을 상기 RCB 영상의 C-채널의 데이터로 설정함으로써, 상기 원본 RCCB 영상을 다운스케일링된 RCB 영상으로 매핑하는 단계;
상기 RCB 영상에서 픽셀의 강도값 (intensity value)이 소정 임계값을 초과하는 픽셀을 과포화딘 픽셀로 판단하는 단계를 포함하는 영상 처리 방법.
제 5항에 있어서,
상기 소정 임계값은 영상 캡쳐부 매트릭스의 최대 가능한 양자화 값 Q의 92%의 값을 갖는 것을 특징으로 하는 영상 처리 방법.
제 4항에 있어서,
상기 C-채널의 과포화된 픽셀에 대한 저포화(desaturation)을 수행하는 단계는
과포화 영역의 경계에서 유효한 픽셀들에서, 과포화된 C-채널 신호 강도 대 유효한 채널인 R-채널 또는 B-채널 중 하나의 가이드 채널 사이의 신호 강도 비율값들을 계산하는 단계;
유효한 픽셀에서 과포화된 영역들로, 채널들 비율값들을 전파하여 과포화된 픽셀들에서 저포화(desaturated) 채널들 비율을 획득하는 단계;
상기 가이드 채널 신호 강도 및 상기 저포화 채널들 비율에 기초하여 상기 C-채널의 과포화 픽셀에서의 저포화된 C-채널 신호값을 획득하는 단계; 및
상기 저포화된 C-채널 신호값을 포함하는 RCB 영상을 저포화 RCCB 영상으로 매핑하는 단계를 포함하는 영상 처리 방법.
제 7항의 방법에 있어서,
상기 과노출 영역의 경계의 유효한 픽셀들에서의 상기 과노출된 C-채널 신호 강도 대 상기 가이드 채널 신호 강도 비율을 다음의 수학식들:

,

,

, 여기서

에 따라서 계산하는 단계(여기서, M은 과노출 영역의 개수,
개의 픽셀들은 k번째 과노출 영역에 배열되며,
는 k번째 영역의 경계의 j번째 픽셀의 과노출 채널(C 채널)의 신호 강도,
는 k번째 영역의 경계에서 j번째 픽셀의 유효한(가이드) 채널의 신호 강도,
는 대응되는 비율,
는 k번째 영역의 경계에서 최소 채널 비율,
는 k번째 영역의 경계에서 최대 채널 비율)를 포함하는 영상 처리 방법.
제8항의 방법에 있어서,
상기 과노출
픽셀에서의 채널 비율을 다음의 수식:

,
에 따라서 복원하는 단계(여기서
및
는 k번째 과노출 영역의 경계에서의 채널 비율의 최소값 및 최대값이며,
는 k번째 영역에서의 i번째 픽셀의 가이드 채널의 강도이며, s 는 고려되는 주변 픽셀의 개수 (이 경우
, 즉 고려되는 i번째 픽셀의 상하좌우에 인접한 최대 4개의 픽셀),
및
는 n번째 주변 픽셀의 가이드 채널의 채널 비율 및 강도값이며,
은 n번째 주변 픽셀의 채널 비율이 합산 과정에서 갖는 가중치이며,
은 주변 픽셀들의 최소 가중치이며,
는 i번째 및 n번째 픽셀들의 강도 차이)를 포함하는 영상 처리 방법.
제9항의 방법에 있어서,
저포화된 과노출 픽셀에서의 신호값을
다음의 수식:

,
에 따라서 계산하는 단계(여기서,
는 k번째 영역의 i번째 픽셀의 과노출된 채널의 보상된 신호값,
는 k번째 영역의 i번째 픽셀의 가이드 채널의 신호값)를 포함하는 영상 처리 방법.
제1항의 방법에 있어서,
화이트 밸런스를 복원하는 단계를 더 포함하는 영상 처리 방법.
제1항의 방법에 있어서,
강도값의 동적 범위를 표준으로 매핑하는 톤 매핑 단계를 더 포함하는 영상 처리 방법.
제1항의 방법에 있어서, 상기 색채 여과는
상기 밀집한 C-채널의 데이터 및 상기 원본 RCCB 영상에 기초하여, RCB 컬러 모델로부터의 R-채널 및 B-채널 데이터를 YUV 컬러 모델로 매핑하는 단계;
상기 밀집한 C-채널 데이터에 기초하여 가이드 영상을 형성하는 단계;
상기 획득된 U-채널 및 V-채널의 값들에 대한 이중선형(bilinear) 보간을 수행하여 밀집한 U-채널 및 V-채널을 획득하는 단계;
상기 가이드 영상에 기초하여 밀집한 U-채널 및 V-채널에 대한 가이드된 여과(guided filtration)를 수행하는 단계;
상기 YUV 컬러 모델로부터 RCB 컬러 모델로 역(inverse) 영상 매핑을 수행하는 단계; 및
상기 RGB 컬러 모델로 매핑을 수행하여 RGB 영상을 획득하는 단계를 포함하는 영상 처리 방법.
영상 처리 장치에 있어서,
원본 RCCB(Red-Clear-Clear-Blue) 영상을 보간하여, 희박한 C(Clear)-채널로부터 밀집한 C-채널 데이터를 획득하는 보간부; 및
상기 원본 RCCB 영상 데이터와 밀집한 C-채널에 기초하여 색채 여과를 수행하여 밀집한 R(Red)-채널 및 B(Blue)-채널을 획득하고, 가이드 영상을 이용하여 상기 밀집한 R-채널 및 B-채널을 필터링하여 RGB 영상을 획득하는 색채 필터링부를 포함하며,
상기 보간부는
상기 희박한 C-채널 데이터 및 상기 원본 RCCB 영상을 이용하여 레지듀얼 C-채널을 획득하고, 이전에 획득된 데이터에 기초하여 상기 C-채널과 상기 R-채널 사이의 차이 및 상기 C-채널과 상기 B-채널 사이의 차이를 획득하고, 상기 원본 RCCB 영상과 상기 C-채널과 다른 채널 사이의 차이에 기초하여 상기 밀집한 C-채널 데이터를 획득하는 영상 처리 장치.
제 14항에 있어서, 상기 보간부는
상기 C-채널에서 신호 값을 수평 및 수직 보간을 수행하고, 상기 C-채널에서 획득된 보간된 신호 값들을 가이드된 필터링에서 가이드로 이용하여 잠정 영상 및 예측 영상들을 획득하며, 상기 원본 RCCB 영상으로부터 상기 잠정 영상을 감산하여 획득된 레지듀얼 C-채널 신호값들을 보간하고, 이전에 획득된 데이터에 기초하여, 상기 C-채널 및 R-채널, B-채널 사이의 수평 및 수직 컬러 차이 예측을 수행하며,
(gradient-based threshold free color difference estimation)를 수행하여 풀 컬러 차이를 획득하고, 상기 원본 RCCB 영상과 상기 풀 컬러 차이를 합산하여 밀집한 C-채널을 획득하는 영상 처리 장치.
제 14항에 있어서, 상기 색채 필터링부는
상기 원본 RCCB 영상 (RAW) 및 상기 보간된 영상 (
) 에 대하여 다음의 수식들:

,

)
에 따라서 라플라시안(Laplacian)을 결정하고(여기서,
는 원본 모자이크 라플라시안,
는 보간된 모자이크 라플라시안);
다음의 수식들:

,

에 따라서 이득 성분을 계산하고(여기서
은 좌표 (i, j)을 갖는 픽셀 주변의 5x5 주변에서 평균값 샘플링 동작이며,
는 5x5 매트릭스이며,
는 매트릭스 계수, A 는
계수의 매트릭스이며, 매트릭스 차원은 영상 차원과 동일);
DC 성분 (변위 성분)을 다음의 수식들:

,

에 따라서 계산하고(여기서,
는 매트릭스 계수,
는
계수들의 매트릭스이며, 매트릭스의 차원은 영상의 차원과 동일하며,
및
계수들은 가이드된 필터링 선형 모델 파라메터들이다); 및
상기 잠정 영상 및 예측 영상들을 다음의 수식들:

,

,
에 따라서 계산 (여기서
는 잠정 영상,
는 예측 영상,
는 7x5 매트릭스이며,

및
매트릭스는 다음의 구성:

및

) 하는 영상 처리 장치.
제14항에 있어서,
입력 영상 데이터에서 포화된 픽셀의 검출 및 포화 보상을 위한 포화 보상부를 더 포함하는 영상 처리 장치.
제14항에 있어서,
RCCB 필터들의 모자이크를 갖는 포토센서들의 배열을 포함하는 영상 캡쳐부를 더 포함하는 영상 처리 장치.
제14항에 있어서,
화이트 밸런스 복원 및/또는 톤 매핑을 위한 부가 영상 처리부를 더 포함하는 영상 처리 장치.
제 11 항의 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.